三级封锁协议
X锁是排它锁。若事务T对数据对象A加上X锁,则只允许T读取和修改A,其他事务都 不能再对A加任何类型的锁,直到T释放A上的锁。
S锁是共享锁。若事务T对数据对象A加上S锁,则只允许T读取A,但不能修改A,其 他事务只能再对A加S锁(也即能读不能修改),直到T释放A上的S锁。
一级封锁协议:事务在修改数据R之前必须先对其加x锁,直到事务结束才释放。可解决丢失更新问题。
二级封锁协议:一级封锁协议的基础上加上事务T在读数据R之前必须先对其加s锁,读完后即可释放s锁。可解决丢失更新、读脏数据问题。
三级封锁协议:一级封锁协议加上事务T在读取数据R之前先对其加s锁,直到事务结束才释放。可解决丢失更新、读脏数据、数据重复读问题。
数据库故障
数据库系统产生的故障如下所示:
故障类型 故障原因
事务内部故障 本身逻辑(可预期)、运算溢出(不可预期)
系统故障 系统停止运行任何事件,如操作系统故障、停电
介质故障 物理介质损坏,几率小破坏性最大
计算机病毒 人为的故障和破坏,在计算机程序中插入的破坏
数据备份
静态转储:即冷备份,指在转储期间不允许对数据库进行任何存取、修改操作:
优点是非常快速的备份方法、容易归档(直接物理复制操作);
缺点是只能提供到某一时间点上的恢复,不能做其他工作,不能按表或按用户恢复。
动态转储:即热备份,在转储期间允许对数据库进行存取、修改操作,因此,转储和用户事务 可并发执行;
优点是可在表空间或数据库文件级备份,数据库扔可使用,可达到秒级恢复,
缺点是不能出错,否则后果严重,若热备份不成功,所得结果几乎全部无效。
完全备份:备份所有数据。
差量备份:仅备份上一次完全备份之后变化的数据。
增量备份:备份上一次备份之后变化的数据。
日志文件:在事务处理过程中,DBMS把事务开始、事务结束以及对数据库的插入、删除和修 改的每一次操作写入日志文件。一旦发生故障,DBMS的恢复子系统利用日志文件撤销事务对 数据库的改变,回退到事务的初始状态。
数据仓库
数据仓库是一种特殊的数据库,也是按数据库形式存储数据的,但是目的不同:数据库经过长时间的运行里面的数据会保存的越来越多,就会影响系统运行效率,对于某些程序而言,很久之前的数据并非必要的因此,可以删除掉以减少数据,增加效率,考虑到删除这些数据比较可惜,因此,一般都将这些数据从数据库中提取出来保存到另外一个数据库中,称为数据仓库。
由此,可知,数据仓库的目的不是为了应用,是面向主题的,用来做数据分析,集成不同表,而且是相对稳定的,一般不会做修改,同时会在特定的时间点,做大量的插入,反映历史的变化。
数据挖掘的分析方法
关联分析:关联分析主要用于发现不同事件之间的关联性,即一个事件发生的同时,另一个事件也经常发生。
序列分析:序列分析主要用于发现一定时间间隔内接连发生的事件,这些事件构成一个序列,发现的序列应该具有普遍意义。
分类分析:分类分析通过分析具有类别的样本特点,得到决定样本属于各种类别的规则或方法。分类分析时首先为每个记录赋予一个标记(一组具有不同特征的类别),即按标记分类记录,然后检查这些标定的记录,描述出这些记录的特征。
聚类分析:聚类分析是根据“物以类聚”的原理,将本身没有类别的样本聚集成不同的组,并且对每个这样的组讲行描述的过程
商业智能
BI系统主要包括数据预处理、建立数据仓库、数据分析和数据展现四个主要阶段。
数据预处理是整合企业原始数据的第一步,它包括数据的抽取(Extraction)、转换 (Transformation)和加载(Load)三个过程(ETL过程);
建立数据仓库则是处理海量数据的基础:
数据分析是体现系统智能的关键,一般采用联机分析处理(OLAP)和数据挖掘两大技术。联 机分析处理不仅进行数据汇总/聚集,同时还提供切片、切块、下钻、上卷和旋转等数据分 析功能,用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏 的知识,通过关联分析、聚类和分类等方法建立分析模型,预测企业未来发展趋势和将要面 临的问题:
在海量数据和分析手段增多的情况下,数据展现则主要保障系统分析结果的可视化。
反规范化技术
由前面介绍可知,规范化操作可以防止插入异常、更新、删除异常和数据冗余,一般是通过模式分解,将表拆分,来达到这个目的。
但是表拆分后,解决了上述异常,却不利于查询,每次查询时,可能都要关联很多表,严重降低了查询效率,因此,有时候需要使用反规范化技术来提高查询效率。
技术手段包括:增加派生性冗余列,增加冗余列,重新组表,分割表。
主要就是增加冗余,提高查询效率,为规范化操作的逆操作。
大数据
特点:大量化、多样化、价值密度低、快速化。
大数据和传统数据的比较如下:
要处理大数据,一般使用集成平台,称为大数据处理系统,其特征为:
高度可扩展性、高性能、高度容错、支持异构环境、较短的分析延迟、易用且开放的接口、较低成本、向下兼容性。











网友评论