数据库是信息的集合，是存储计算机数据的仓库或容器

 

9.1 基本概念数据库技术是研究数据库的结构、存储、设计、管理和应用的一门软件学科数据库系统本质上是一个用计算机存储信息的系统数据库管理系统是位于用户与操作系统之间的一层数据管理软件，其基本目标是提供一个可以方便、有效地存取数据库信息的环境。

数据库就是信息的集合，它是收集计算机数据的仓库或容器，系统用户可以对这些数据执行一系列操作设计数据库系统的目的是为了管理大量信息，给用户提供数据的抽象视图，即系统隐藏有关数据存储和维护的某些细节对数据的管理涉及信息存储结构的定义、信息操作机制的提供、安全性保证，以及多用户对数据的共享问题。

本文主要介绍一些数据库的背景知识和基本概念，使读者了解数据库的基本内容，形成数据库系统的总体框架，了解数据库系统在计算机系统中的地位以及数据库系统的功能9.1.1 数据库与数据库系统数据是描述事物的符号记录，它具有多种表现形式，可以是文字、图形、图像、声音和语言等。

信息是现实世界事物的存在方式或状态的反映信息具有可感知、可存储、可加工、可传递和可再生等自然属性，信息已是社会各行各业不可缺少的资源，这也是信息的社会属性数据是信息的符号表示，而信息是具有特定释义和意义的数据。

数据库系统（DataBase System，DBS）是一个采用了数据库技术，有组织地、动态地存储大量相关数据，方便多用户访问的计算机系统广义上讲，DBS是由数据库、硬件、软件和人员组成的（1）数据库（DataBase，DB）数据库是统一管理的、长期储存在计算机内的、有组织的相关数据的集合。

其特点是数据间联系密切、冗余度小、独立性较高、易扩展，并且可为各类用户共享（2）硬件硬件是构成计算机系统的各种物理设备，包括存储数据所需的外部设备硬件的配置应满足整个数据库系统的需要（3）软件软件包括操作系统、数据库管理系统及应用程序。

数据库管理系统简称DBMS，它是数据库系统的核心软件，需要在操作系统的支持下工作，解决如何科学地组织和储存数据，如何高效地获取和维护数据其主要功能包括数据定义功能、数据操纵功能、数据库的运行管理和数据库的建立与维护。

（4）人员人员主要有4类第一类为系统分析员和数据库设计人员，系统分析员负责应用系统的需求分析和规范说明，他们和用户及数据库管理员一起确定系统的硬件配置，并参与数据库系统的概要设计；数据库设计人员负责数据库中数据的确定、数据库各级模式的设计。

第二类为应用程序员，负责编写使用数据库的应用程序，这些应用程序可对数据进行检索、建立、删除或修改第三类为最终用户，他们应用系统的接口或利用查询语言访问数据库第四类用户是数据库管理员（DataBase Administrator，DBA），负责数据库的总体信息控制。

DBA的具体职责包括决定数据库中的信息内容和结构；决定数据库的存储结构和存取策略；定义数据库的安全性要求和完整性约束条件；监控数据库的使用和运行；改进数据库的性能；重组和重构数据库，以提高系统的性能9.1.2 数据库管理系统的功能

数据库管理系统（DataBase Management System，DBMS）主要实现对共享数据有效地组织、管理和存取，故DBMS应具有以下六个方面的功能1. 数据定义DBMS提供数据定义语言（Data Definition Language，DDL），用户可以对数据库的结构进行描述，包括外模式、模式和内模式的定义；数据库的完整性定义；安全保密定义，如口令、级别和存取权限等。

这些定义存储在数据字典中，是DBMS运行的基本依据2. 数据库操作DBMS向用户提供数据操纵语言（Data Manipulation Language，DML），实现对数据库中数据的基本操作，例如检索、插入、修改和删除。

DML分为两类，即宿主型和自含型所谓宿主型是指将DML语句嵌入某种主语言（如C、COBOL等）中使用；自含型是指可以单独使用DML语句，供用户交互使用3. 数据库运行管理数据库在运行期间多用户环境下的并发控制、安全性检查和存取控制、完整性检查和执行、运行日志的组织管理、事务管理和自动恢复等是DBMS的重要组成部分，这些功能可以保证数据库系统的正常运行。

4. 数据的组织、存储和管理DBMS分类组织、存储和管理各种数据，包括数据字典、用户数据和存取路径等因此要确定以何种文件结构和存取方式在存储级上组织这些数据，以提高存取效率实现数据间的联系、数据组织和存储的基本目标是提高存储空间的利用率。

5. 数据库的建立和维护数据库的建立和维护包括数据库的初始建立、数据的转换、数据库的转储和恢复、数据库的重组和重构、性能监测和分析等6. 其他功能其他功能包括：DBMS的网络通信功能，一个DBMS与另一个DBMS或文件系统的数据转换功能，异构数据库之间的互访和互操作能力等。

9.1.3 数据库管理系统的特征及分类1. DBMS的特征通过DBMS来管理数据具有以下特点（1）数据结构化且统一管理数据库中的数据由DBMS统一管理由于数据库系统采用复杂的数据模型表示数据结构，数据模型不仅描述数据本身的特点，还描述数据之间的联系。

数据不再面向某个应用，而是面向整个应用系统数据易维护、易扩展，数据冗余明显减少，真正实现了数据的共享（2）有较高的数据独立性数据的独立性是指数据与程序独立，将数据的定义从程序中分离出去，由DBMS负责数据的存儲，应用程序关心的只是数据的逻辑结构，无须了解数据在磁盘上的数据库中的存储形式，从而简化应用程序，大大减少了应用程序编制的工作量。

数据的独立性包括数据的物理独立性和数据的逻辑独立性（3）数据控制功能DBMS提供了数据控制功能，以适应共享数据的环境数据控制功能包括对数据库中数据的安全性、完整性、并发和恢复的控制①数据库的安全性数据库的安全性（Security）是指保护数据库以防止不合法的使用所造成的数据泄漏、更改或破坏。

这样，用户只能按规定对数据进行处理，例如，划分了不同的权限，有的用户只能有读数据的权限，有的用户有修改数据的权限，用户只能在规定的权限范围内操纵数据库②数据的完整性数据库的完整性是指数据库的正确性和相容性，是防止合法用户使用数据库时向数据库加入不符合语义的数据，保证数据库中的数据是正确的，避免非法的更新。

③并发控制在多用户共享的系统中，许多用户可能同时对同一数据进行操作DBMS的并发控制子系统负责协调并发事务的执行，保证数据库的完整性不受破坏，避免用户得到不正确的数据④故障恢复数据库中的4类故障是事务内部故障、系统故障、介质故障及计算机病毒。

故障恢复主要指恢复数据库本身，即在故障引起数据库当前状态不一致时将数据库恢复到某个正确状态或一致状态恢复的原理非常简单，就是要建立冗余（Redundancy）数据换句话说，确定数据库是否可恢复的方法就是其包含的每一条信息是否都可以利用冗余存储在别处的信息重构。

冗余是物理级的，通常认为逻辑级是没有冗余的2. DBMS的分类DBMS通常可分为以下三类（1）关系数据库系统（Relation DataBase Systems，RDBS）关系数据库系统是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据。

目前主流的关系数据库有Oracle、Db2、Sybase、Microsoft SQL Server、Microsoft Access、MySQL等在关系模型中，实体以及实体间的联系都是用关系来表示的在一个给定的现实世界领域中，相应的所有实体及实体之间联系的关系的集合构成一个关系数据库，也有型和值之分。

关系数据库的型也称为关系数据库模式，它是对关系数据库的描述，是关系模式的集合关系数据库的值也称为关系数据库，是关系的集合关系数据库模式与关系数据库通常统称为关系数据库（2）面向对象的数据库系统（Object-Oriented DataBase System，OODBS）。

面向对象的数据库系统是支持以对象形式对数据建模的数据库管理系统，包括对对象的类、类属性的继承和子类的支持面向对象数据库系统主要有两个特点：一是面向对象数据模型能完整地描述现实世界的数据结构，能表达数据间的嵌套、递归联系；二是具有面向对象技术的封装性和继承性提高了软件的可重用性。

（3）对象关系数据库系统（Object-Oriented Relation DataBase System，ORDBS）对象关系数据库系统是在传统的关系数据模型基础上提供元组、数组、集合等更为丰富的数据类型以及处理新的数据类型操作的能力，这样形成的数据模型被称为“对象关系数据模型”，基于对象关系数据模型的DBS称为对象关系数据库系统。

9.1.4 数据库系统的体系结构数据库系统是数据密集型应用的核心，其体系结构受数据库运行所在的计算机系统的影响很大，尤其是受计算机体系结构中的连网、并行和分布的影响从不同的角度或不同层次上看，数据库系统体系结构不同；从最终用户的角度看，数据库系统体系结构分为集中式、分布式、C/S（客户端/服务器）和并行结构；从数据库管理系统的角度看，数据库系统体系结构一般采用三级模式结构。

1. 集中式数据库系统分时系统环境下的集中式数据库系统结构诞生于20世纪60年代中期当时的硬件和操作系统决定了分时系统环境下的集中式数据库系统结构成为早期数据库技术的首选结构在这种系统中，不仅数据是集中的，数据的管理也是集中的，数据库系统的所有功能（从形式的用户接口到DBMS核心）都集中在DBMS所在的计算机上，如下图所示。

大多数关系DBMS的产品也是从这种系统结构开始发展的，目前这种系统还在使用

2. 客户端/服务器结构随着网络技术的迅猛发展，很多现代软件都采用客户端/服务器体系结构，如下图所示在这种结构中，一个处理机（客户端）的请求被送到另一个处理机（服务器）上执行其主要特点是客户端与服务器CPU之间的职责明确，客户端主要负责数据表示服务，服务器主要负责数据库服务。

采用客户端/服务器结构后，数据库系统功能分为前端和后端前端主要包括图形用户界面、表格生成和报表处理等工具；后端负责存取结构、查询计算和优化、并发控制以及故障恢复等前端与后端通过SQL或应用程序来接口ODBC（开放式数据库互连）和JDBC（Java程序数据库连接）标准定义了应用程序和数据库服务器通信的方法，即定义了应用程序接口，应用程序用它来打开与数据库的连接、发送查询和更新以及获取返回结果等。

数据库服务器一般可分为事务服务器和数据服务器（1）事务服务器事务服务器也称查询服务器它提供一个接口，使得客户端可以发出执行一个动作的请求，服务器响应客户端请求，并将执行结果返回给客户端用户端可以用SQL，也可以通过应用程序或使用远程过程调用机制来表达请求。

一个典型的事务服务器系统包括多个在共享内存中访问数据的进程，包括服务器进程、锁管理进程、写进程、监视进程和检查点进程（2）数据服务器数据服务器系统使得客户端可以与服务器交互，以文件或页面为单位对数据进行读取或更新。

数据服务器与文件服务器相比提供更强的功能，所支持的数据单位可以比文件还要小，如页、元组或对象；提供数据的索引机制和事务机制，使得客户端或进程发生故障时数据也不会处于不一致状态3. 并行数据库系统并行体系结构的数据库系统是多个物理上连在一起的CPU，而分布式系统是多个地理上分开的CPU，并行体系结构的数据库类型分为共享内存式多处理器和无共享式并行体系结构。

1）共享内存式多处理器共享内存式多处理器是指一台计算机上同时有多个活动的CPU，它们共享单个内存和一个公共磁盘接口，如下图所示这种并行体系结构最接近于传统的单CPU处理器结构，其设计的主要挑战是用N个CPU来得到N倍单CPU的性能。

但是，由于不同的CPU对公共内存的访问是平等的，这样可能会导致一个CPU访问的数据被另一个CPU修改，所以必须要有特殊的处理然而，由于内存访问采用的是一种高速机制，这种机制很难保证进行内存划分时不损失效率，所以这些共享内存访问问题会随着CPU个数的增加变得难以解决。

2）无共享式并行体系结构无共享式并行体系结构是指一台计算机上同时有多个活动的CPU，并且它们都有自己的内存和磁盘，如下图所示，图中粗线表示高速网络在不产生混淆的情况下，该结构的数据库系统也称为并行数据库系统。

各个承担数据库服务责任的CPU划分它们自身的数据，通过划分的任务以及通过每秒兆位级的高速网络通信完成事务查询

4. 分布式数据库系统分布式DBMS包括物理上分布、逻辑上集中的分布式数据库结构和物理上分布、逻辑上分布的分布式数据库结构两种前者的指导思想是把单位的数据模式（称为全局数据模式）按数据来源和用途合理地分布在系统的多个结点上，使大部分数据可以就地或就近存取。

数据在物理上分布后，由系统统一管理，使用户不感到数据的分布后者一般由两部分组成：一是本结点的数据模式，二是本结点共享的其他结点上有关的数据模式结点间的数据共享由双方协商确定这种数据库结构有利于数据库的集成、扩展和重新配置。

9.1.5 数据库的三级模式结构实际上，数据库的产品很多，它们支持不同的数据模型，使用不同的数据库语言，建立在不同的操作系统上数据的存储结构也各不相同，但体系结构基本上都具有相同的特征，采用“三级模式和两级映像”，如下图所示。

数据库系统采用三级模式结构，这是数据库管理系统内部的系统结构数据库有“型”和“值”的概念，“型”是指对某一数据的结构和属性的说明，“值”是型的一个具体赋值数据库系统设计员可以在视图层、逻辑层和物理层对数据进行抽象，通过外模式、概念模式和内模式来描述不同层次上的数据特性。

1. 概念模式概念模式也称模式，它是数据库中全部数据的逻辑结构和特征的描述，由若干个概念记录类型组成，只涉及型的描述，不涉及具体的值概念模式的一个具体值称为模式的一个实例，同一个模式可以有很多实例概念模式反映的是数据库的结构及其联系，所以是相对稳定的；而实例反映的是数据库某一时刻的状态，所以是相对变动的。

需要说明的是，概念模式不仅要描述概念记录类型，还要描述记录间的联系、操作以及数据的完整性和安全性等要求但是，概念模式不涉及存储结构、访问技术等细节只有这样，概念模式才算做到了“物理数据独立性”描述概念模式的数据定义语言称为“模式DDL（Schema Data Definition Language）”。

2. 外模式外模式也称用户模式或子模式，是用户与数据库系统的接口，是用户用到的那部分数据的描述它由若干个外部记录类型组成用户使用数据操纵语言对数据库进行操作，实际上是对外模式的外部记录进行操作描述外模式的数据定义语言称为“外模式DDL”。

有了外模式后，程序员不必关心概念模式，只与外模式发生联系，按外模式的结构存储和操纵数据3. 内模式内模式也称存储模式，是数据物理结构和存储方式的描述，是数据在数据库内部的表示方式，定义所有的内部记录类型、索引和文件的组织方式，以及数据控制方面的细节。

例如，记录的存储方式是顺序存储，按照B树结构存储，还是Hash方法存储；索引按照什么方式组织；数据是否压缩存储，是否加密；数据的存储记录结构有何规定描述内模式的数据定义语言称为“内模式DDL”注意，内部记录并不涉及物理记录，也不涉及设备的约束。

它比内模式更接近于物理存储和访问的那些软件机制，是操作系统的一部分（即文件系统）例如，从磁盘上读、写数据总之，数据按外模式的描述提供给用户，按内模式的描述存储在磁盘上，而概念模式提供了连接这两级模式的相对稳定的中间层，并使得两级中任意一级的改变都不受另一级影响。

4. 两级映像数据库系统在三级模式之间提供了两级映像：模式/内模式映像、外模式/模式映像正因为这两级映像保证了数据库中的数据具有较高的逻辑独立性和物理独立性（1）模式/内模式映像存在于概念级和内部级之间，实现了概念模式和内模式之间的相互转换。

（2）外模式/模式映像存在于外部级和概念级之间，实现了外模式和概念模式之间的相互转换数据的独立性是指数据与程序独立，将数据的定义从程序中分离出去，由DBMS负责数据的存储，从而简化应用程序，大大减少应用程序编制的工作量。

数据的独立性是由DBMS的二级映像功能来保证的数据的独立性包括数据的物理独立性和数据的逻辑独立性（1）数据的物理独立性数据的物理独立性是指当数据库的内模式发生改变时，数据的逻辑结构不变由于应用程序处理的只是数据的逻辑结构，这样物理独立性可以保证，当数据的物理结构改变时，应用程序不用改变。

但是，为了保证应用程序能够正确执行，需要修改概念模式和内模式之间的映像（2）数据的逻辑独立性数据的逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的数据的逻辑结构发生变化后，用户程序也可以不修改。

但是，为了保证应用程序能够正确执行，需要修改外模式和概念模式之间的映像9.1.6 大数据1. 大数据产生的背景大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。

大数据产生的背景主要有以下4个方面（1）数据来源和承载方式的变革由于物联网、云计算、移动互联网等新技术的发展，用户在线的每一次点击、每一次评论、一个视频点播，都是大数据的典型来源；而遍布地球各个角落的手机、PC、平板电脑及传感器成为数据来源和承载方式。

可见，只有大连接与大交互，才有大数据（2）全球数据量出现爆炸式增长由于视频监控、智能终端、网络商店等快速普及，使得全球数据量出现爆炸式增长许多研究表明，未来数年数据量会呈现指数增长根据麦肯锡全球研究院（MGI）估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于  GB）的新数据，而消费者在PC和笔记本等设备上存储了超过6EB的新数据。

据IDC（Internet Data Center）预测，到2020年，全球以电子形式存储的数据量将达32ZB（3）大数据已经成为一种自然资源许多研究者认为：大数据是“未来的新石油”，已成为一种新的经济资产类别。

一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分（4）大数据日益重要，不被利用就是成本大数据作为一种数据资产当仁不让地成为现代商业社会的核心竞争力，不被利用就是企业的成本因为，数据资产可以帮助和指导企业对整个业务流程进行有效的运营和优化，帮助企业做出最明智的决策。

2. 大数据的特征大数据（Big Data）是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”业界通常用“4V”来概括大数据的特征大量化（Volume）指数据体量巨大。

随着IT技术的迅猛发展，数据量级已从TB（  字节）发展至PB乃至ZB，可称海量、巨量乃至超量当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级多样化（Variety）指数据类型繁多。

相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高的要求价值密度低（Value）指大量的不相关信息导致价值密度的高低与数据总量的大小成反比。

以视频为例，一部一小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒因此，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，如何对未来趋势与模式的可预测分析、深度复杂分析（机器学习、人工智能VS传统商务智能咨询、报告等），成为目前大数据背景下亟待解决的难题。

快速化（Velocity）指处理速度快大数据时代对时效性要求很高，这是大数据区分于传统数据挖掘的最显著特征因为，在大数据环境下数据流通常为高速实时数据流，而且需要快速、持续的实时处理；处理工具也在快速演进，软件工程及人工智能等均可能介入。

3. 理解大数据大数据不仅仅是指海量的信息，更强调人类对信息的筛选、处理，保留有价值的信息，即让大数据更有意义，挖其潜在的“大价值”这才是对大数据的正确理解为此，有许多问题需要研究与解决（1）高并发数据存取的性能要求及数据存储的横向扩展问题。

目前，多从架构和并行等方面考虑解决（2）实现大数据资源化、知识化、普适化的问题，解决这些问题的关键是对非结构化数据的内容理解（3）非结构化海量信息的智能化处理问题，主要解决自然语言理解、多媒体内容理解、机器学习等问题。

大数据时代主要面临三大挑战：软件和数据处理能力、资源和共享管理以及数据处理的可信力（1）软件和数据处理能力应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门（2）资源和共享管理。

应用大数据技术，提高应急处置能力和安全防范能力（3）数据处理的可信力需要投资建立大数据的处理分析平台，实现综合治理、业务开拓等目标4. 大数据产生的安全风险2012年瑞士达沃斯论坛上发布的《大数据大影响》报告称，数据已成为一种新的经济资产类别，就像货币或黄金一样。

因此，也带来了更多安全风险（1）大数据成为网络攻击的显著目标在互联网环境下，大数据是更容易被“发现”的大目标这些数据会吸引更多的潜在攻击者，如数据的大量汇集，使得黑客成功攻击一次就能获得更多数据，无形中降低了黑客的攻击成本，增加了“收益率”。

（2）大数据加大了隐私泄露风险大量数据的汇集不可避免地加大了用户隐私泄露的风险，因为数据集中存储增加了泄露风险；另外，一些敏感数据的所有权和使用权并没有明确界定，很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。

（3）大数据威胁现有的存储和安防措施大数据存储带来新的安全问题，数据大集中的后果是复杂多样的数据存储在一起，很可能出现将某些生产数据放在经营数据存储位置的情况，致使企业安全管理不合规大数据的大小也影响到安全控制措施能否正确运行。

如果安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐，就会暴露大数据安全防护的漏洞（4）大数据技术成为黑客的攻击手段在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也在利用这些大数据技术向企业发起攻击。

黑客会最大限度地收集更多的有用信息，例如社交网络、邮件、微博、电子商务、电话和家庭住址等信息，大数据分析使黑客的攻击更加精准（5）大数据成为高级可持续攻击的载体传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击（APT）是一个实施过程，无法被实时检测。

此外，大数据的价值低密度性使得安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中，给安全服务提供商的分析制造很大困难黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击，都会导致安全监测偏离应有方向。

（6）大数据技术为信息安全提供新支撑当然，大数据也为信息安全的发展提供了新机遇大数据正在为安全分析提供新的可能性，对于海量数据的分析有助于信息安全服务提供商更好地刻画网络异常行为，从而找出数据中的风险点。

对实时安全和商务数据结合在一起的数据进行预防性分析，可识别钓鱼攻击，防止诈骗和阻止黑客入侵网络攻击行为总会留下蛛丝马迹，这些痕迹都以数据的形式隐藏在大数据中，利用大数据技术整合计算和处理资有助于更有针对性地应对信息安全威胁，有助于找到攻击的源头。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186