foreversunyao
- 浏览: 218260 次
- 性别:
- 来自: 北京
-
最新评论
-
bluky999：
jiakechong 写道跟啊里爸爸那个差不多吧跟 dubb ...
淘宝-HSF -
jiakechong：
跟啊里爸爸那个差不多吧
淘宝-HSF -
lookqlp：
您好！我写了个关键词关联度统计的mapreduce，排序非常慢 ...
排序--MapReduce -
liubang201010：
DB Audit更多参考资料:
http://www.inno ...
8--《DB Audit》 -
裴小星：
这些数据库专家，同样不了解程序员。SQL（或PL/SQL，TS ...
MapReduce：一个重大的倒退
文章列表
Oracle 数据库有三种基本类型的物理文件：控制文件，数据文件，redo日志文件
控制文件：物理文件的位置信息，以及有关数据库内容和状态的关键信息
数据文件：存储着数据库中的实际数据，包括存储数据的表和索引，维护数据结构信息的数据字典，以及用于实现并发性的回滚段。
数据块大小：块大小事一次读或者写操作的最小数据量
数据文件有三个中间结构层（逻辑上）：数据块，数据区间，段
由于人为错误导致的redo日志的受损或丢失，简单的冗余磁盘保护方案起不到作用
Oracle日志文件的两种类型：在线redo日志 归档redo日志
SGA：共享内存池，大内存池，Java内存池，缓冲器缓冲和流内存池 ...
audit provide an objective body to find out if there's anything bad going on in the company from an internal control perspective
improve the state of internal controls and to 帮助公司开发低消耗的解决方案
提供独立的角度意见
审计的特别之处在于他们能够重现在系统内的工作过程和技术
DTD和XML Schema是两种为XML定义语义约束的工具，XML Schema功能强大，但是比较复杂，可以支持复杂的类型
1，通过离线的压缩处理审计追踪记录，减少过度使用资源的敝处
2，数据库备份和还原系统代价：1，在备份数据库的时间和资源开销 2，当出现问题是回复系统的时间和资源开销 3，出现问题的频率
3，bit map,离线操作
1,a good workflow 良好的性能依赖于好结构的内核和可扩展的函数设计
2,dispatching algorithm,promoting mechanism,state transitions mechanism,executive mechanism
1，事务之间的关系经常在OLTP系统中被忽略
2，Markov 和Petri-net ，提出一种建立高层次语义（工作流）和低层次事务匹配的算法
3，客户的行为往往体现在事务之间的关系上
业务审计：细粒度操作与上层事务，业务的关系
核心类：THD（线程类），TABLE（表描述类），Field类
函数库：内存操作函数（内存池初始化，申请内存池内存，释放内存池），文件系统操作函数（打开关闭文件，I/O缓存），哈希表操作，字符串操作，宏定义
比特位图使用少量的空间而提供大量的信息
表连接缓冲工作原理：减少对表的扫描次数
mysql排序实现：1，使用已排序索引 2，在单表上使用filesort 3，将join结果先放入临时表，然后使用filesort
filesort:将一组记录按照快速排序算法放到内存缓存，然后这几个内存缓存按合并苏福安排序
分析非递归算法效率的通用方案：
1，决定用哪个（哪些）参数作为输入规模的度量
2，找出算法的基本操作
3，检查基本操作的执行次数是否只依赖于输入规模。如果还依赖一些其他的特性，则最差效率，平均效率以及最优效率需要分别研究
4，建立一个算法基本操作执行次数的求和表达式
5，利用求和运算的标准工时和法则来建立一个操作次数的闭合公式，或者至少确定它的增长次数
主流问题：排序，查找，串处理，图问题
多路查找树：磁盘上超大型文件的高效存储是必不可少的
算法性能分析框架：输入规模的度量，运行时间的度量，增长的次数
Google的三大核心元素：
1、Google文件系统（GFS）；（GFS负责服务器数据储存工作）
2、
Google大表；Bigtable：是Google一种对于半结构化数据进行
分布存储与访问的接口或服务）；由于Google的文件系统异常庞大，以至于甲骨文和IBM公司的商业数据库在方面无用武之地。另外，商业数据库都是按
CPU数量来收费，如果Google使用商业数据库，可想而知，这是一笔天文数字。所以，Google量体裁衣地设计了符合自身的大表。
3、Mapreduce 算法；它是Google开发的C++编程工具，用于大于1TB数据的大规模数据集并行运算。MapRe ...
1，防火墙内数据库链路的拓扑结构
2，服务器工作过程中与数据库的连接数据传输
3，如何识别出网络流量中的事务性和与业务，数据库业务联系.
常见的安全审计技术主要有四类，分别是：基于日志的审计技术、基于代理的审计技术、基于网络监听的审计技术、基于网关的审计技术。
1．基于日志的审计技术：该技术通常是通过数据库自身功能实现，Oracle、DB2等主流数据库，均具备自身审计功能，通过配置数据库的自审计功能，即可实现对数据库的审计，其典型部署示意图如图2所示：
图2 日志审计技术部署示意
该技术能够对网络操作及本地操作数据库的行为进行审计，由于依托于现有数据库管理
系统，因此兼容性很好。
...
有效的XML文档：遵守了XML文档基本规则，并使用DTD或SCHEMA定义了语义约束，并且也完全遵守了DTD或SCHEMA所定义的语义约束的XML的文档
元素类型描述：任意类型；字符串值；空元素；包含子元素；混合类型｀
＋ 1次或多次
＊ 0次或多次
？ 0次或一次
对属性的约束规则：＃required ;#implied ;#fixed
DTD 支持的属性类型
CDATA ；（EN1｜EN2｜EN3）；ID；IDREF；IDREFS；NMTOKEN；ENTITY；ENTITIES；NOTATION XML；
P67
事物之间的关系通常会在OLTP负载建模和基础测评中忽略
顾客的行为模式经常会在是我的关系中展现出来
TPC-C;TPC-APP
工作流系统中的事务关系与数据库中数据的操作日志联系进行大事务的审计挖掘