《大数据挑战与NoSQL数据库技术》
基本信息
作者: 陆嘉恒
丛书名: 大数据丛书
出版社:电子工业出版社
ISBN:9787121196607
上架时间:2013-3-25
出版日期:2013 年4月
开本:16开
页码:440
版次:1-1
所属分类:计算机
更多关于 》》》《大数据挑战与NoSQL数据库技术》
内容简介
书籍
计算机书籍
《大数据挑战与nosql数据库技术》共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术,并引入nosql数据库;系统篇主要介绍了各种类型nosql数据库的基本知识;应用篇对国内外几家知名公司在利用nosql数据库处理海量数据方面的实践做了阐述。
《大数据挑战与nosql数据库技术》对大数据时代面临的挑战,以及nosql数据库的基本知识做了清晰的阐述,有助于读者整理思路,了解需求,并更有针对性、有选择地深入学习相关知识。
目录
《大数据挑战与nosql数据库技术》
第1章 概论1
1.1 引子2
1.2 大数据挑战3
1.3 大数据的存储和管理5
1.3.1 并行数据库5
1.3.2 nosql数据管理系统6
1.3.3 newsql数据管理系统8
1.3.4 云数据管理11
1.4 大数据的处理和分析11
1.5 小结13
参考文献13
理 论 篇
第2章 数据一致性理论16
2.1 cap理论17
2.2 数据一致性模型21
2.3 acid与base22
2.4 数据一致性实现技术23
2.4.1 quorum系统nrw策略23
2.4.2 两阶段提交协议24
.2.4.3 时间戳策略27
2.4.4 paxos30
2.4.5 向量时钟38
2.5 小结43
参考文献43
第3章 数据存储模型45
3.1 总论46
3.2 键值存储48
3.2.1 redis49
3.2.2 dynamo49
3.3 列式存储50
3.3.1 bigtable51
3.3.2 cassandra与hbase51
3.4 文档存储52
3.4.1 mongodb53
3.4.2 couchdb53
3.5 图形存储54
3.5.1 neo4j55
3.5.2 graphdb55
3.6 本章小结56
参考文献56
第4章 数据分区与放置策略58
4.1 分区的意义59
4.1.1 为什么要分区59
4.1.2 分区的优点60
4.2 范围分区61
4.3 列表分区62
4.4 哈希分区63
4.5 三种分区的比较64
4.6 放置策略64
4.6.1 一致性哈希算法65
4.6.2 容错性与可扩展性分析66
4.6.3 虚拟节点68
4.7 小结69
参考文献69
第5章 海量数据处理方法70
5.1 mapreduce简介71
5.2 mapreduce数据流72
5.3 mapreduce数据处理75
5.3.1 提交作业76
5.3.2 初始化作业78
5.3.3 分配任务78
5.3.4 执行任务79
5.3.5 更新任务执行进度和状态80
5.3.6 完成作业81
5.4 dryad简介81
5.4.1 dfs cosmos介绍82
5.4.2 dryad执行引擎84
5.4.3 dryadlinq解释引擎86
5.4.4 dryadlinq编程88
5.5 dryad数据处理步骤90
5.6 mapreduce vs dryad92
5.7 小结94
参考文献95
第6章 数据复制与容错技术96
6.1 海量数据复制的作用和代价97
6.2 海量数据复制的策略97
6.2.1 dynamo的数据库复制策略97
6.2.2 couchdb的复制策略99
6.2.3 pnuts的复制策略99
6.3 海量数据的故障发现与处理101
6.3.1 dynamo的数据库的故障发现与处理101
6.3.2 couchdb的故障发现与处理103
6.3.3 pnuts的故障发现与处理103
6.4 小结104
参考文献104
第7章 数据压缩技术105
7.1 数据压缩原理106
7.1.1 数据压缩的定义106
7.1.2 数据为什么可以压缩107
7.1.3 数据压缩分类107
7.2 传统压缩技术[1]108
7.2.1 霍夫曼编码108
7.2.2 lz77算法109
7.3 海量数据带来的3v挑战112
7.4 oracle混合列压缩113
7.4.1 仓库压缩114
7.4.2 存档压缩114
7.5 google数据压缩技术115
7.5.1 寻找长的重复串115
7.5.2 压缩算法116
7.6 hadoop压缩技术118
7.6.1 lzo简介118
7.6.2 lzo原理[5]119
7.7 小结121
参考文献121
第8章 缓存技术122
8.1 分布式缓存简介123
8.1.1 分布式缓存的产生123
8.1.2 分布式缓存的应用123
8.1.3 分布式缓存的性能124
8.1.4 衡量可用性的标准125
8.2 分布式缓存的内部机制125
8.2.1 生命期机制126
8.2.2 一致性机制126
8.2.3 直读与直写机制129
8.2.4 查询机制130
8.2.5 事件触发机制130
8.3 分布式缓存的拓扑结构130
8.3.1 复制式拓扑131
8.3.2 分割式拓扑131
8.3.3 客户端缓存拓扑131
8.4 小结132
参考文献132
系 统 篇
第9章 key-value数据库134
9.1 key-value模型综述134
9.2 redis135
9.2.1 redis概述135
9.2.2 redis下载与安装135
9.2.3 redis入门操作136
9.2.4 redis在业内的应用143
9.3 voldemort143
9.3.1 voldemort概述143
9.3.2 voldemort下载与安装144
9.3.3 voldemort配置145
9.3.4 voldemort开发介绍[3]147
9.4 小结149
参考文献149
第10章 column-oriented数据库150
10.1 column-oriented数据库简介151
10.2 bigtable数据库151
10.2.1 bigtable数据库简介151
10.2.2 bigtable数据模型152
10.2.3 bigtable基础架构154
10.3 hypertable数据库157
10.3.1 hypertable简介157
10.3.2 hypertable安装157
10.3.3 hypertable架构163
10.3.4 基本概念和原理164
10.3.5 hypertable的查询168
10.4 cassandra数据库175
10.4.1 cassandra简介175
10.4.2 cassandra配置175
10.4.3 cassandra数据库的连接177
10.4.4 cassandra集群机制180
10.4.5 cassandra的读/写机制182
10.5 小结183
参考文献183
第11章 文档数据库185
11.1 文档数据库简介186
11.2 couchdb数据库186
11.2.1 couchdb简介186
11.2.2 couchdb安装188
11.2.3 couchdb入门189
11.2.4 couchdb查询200
11.2.5 couchdb的存储结构207
11.2.6 sql和couchdb209
11.2.7 分布式环境中的couchdb210
11.3 mongodb数据库211
11.3.1 mongodb简介211
11.3.2 mongodb的安装212
11.3.3 mongodb入门215
11.3.4 mongodb索引224
11.3.5 sql与mongodb226
11.3.6 mapreduce与mongodb229
11.3.7 mongodb与couchdb对比234
11.4 小结236
参考文献237
第12章 图存数据库238
12.1 图存数据库的由来及基本概念239
12.1.1 图存数据库的由来239
12.1.2 图存数据库的基本概念239
12.2 neo4j图存数据库240
12.2.1 neo4j简介240
12.2.2 neo4j使用教程241
12.2.3 分布式neo4j——neo4j ha251
12.2.4 neo4j工作机制及优缺点浅析256
12.3 graphdb258
12.3.1 graphdb简介258
12.3.2 graphdb的整体架构260
12.3.3 graphdb的数据模型264
12.3.4 graphdb的安装266
12.3.5 graphdb的使用268
12.4 orientdb276
12.4.1 背景276
12.4.2 orientdb是什么276
12.4.3 orientdb的原理及相关技术277
12.4.4 windows下orientdb的安装与使用282
12.4.5 相关web应用286
12.5 三种图存数据库的比较288
12.5.1 特征矩阵288
12.5.2 分布式模式及应用比较289
12.6 小结289
参考文献290
第13章 基于hadoop的数据管理系统291
13.1 hadoop简介292
13.2 hbase293
13.2.1 hbase体系结构293
13.2.2 hbase数据模型297
13.2.3 hbase的安装和使用298
13.2.4 hbase与rdbms303
13.3 pig304
13.3.1 pigr的安装和使用304
13.3.2 pig latin语言306
13.3.3 pig实例311
13.4 hive315
13.4.1 hive的数据存储316
13.4.2 hive的元数据存储316
13.4.3 安装hive317
13.4.4 hiveql简介318
13.4.5 hive的网络接口(webui)328
13.4.6 hive的jdbc接口328
13.5 小结330
参考文献331
第14章 newsql数据库332
14.1 newsql数据库简介333
14.2 mysql cluster333
14.2.1 概述334
14.2.2 mysql cluster的层次结构336
14.2.3 mysql cluster的优势和应用337
14.2.4 海量数据处理中的sharding技术339
14.2.5 单机环境下mysql cluster的安装343
14.2.6 mysql cluster的分布式安装与配置指导348
14.3 voltdb350
14.3.1 传统关系数据库与voltdb351
14.3.2 voltdb的安装与配置351
14.3.3 voltdb组件354
14.3.4 hello world355
14.3.5 使用generate脚本361
14.3.6 eclipse集成开发362
14.4 小结365
参考文献365
第15章 分布式缓存系统366
15.1 memcached缓存技术367
15.1.1 背景介绍367
15.1.2 memcached缓存技术的特点368
15.1.3 memcached安装[3]374
15.1.4 memcached中的数据操作375
15.1.5 memcached的使用376
15.2 microsoft velocity分布式缓存系统378
15.2.1 microsoft velocity简介378
15.2.2 数据分类379
15.2.3 velocity核心概念380
15.2.4 velocity安装382
15.2.5 一个简单的velocity客户端应用385
15.2.6 扩展型和可用性387
15.3 小结388
参考文献388
应 用 篇
第16章 企业应用392
16.1 instagram393
16.1.1 instagram如何应对数据的急剧增长395
16.1.2 instagram的数据分片策略398
16.2 facebook对hadoop以及hbase的应用400
16.2.1 工作负载类型401
16.2.2 为什么采用apache hadoop和hbase403
16.2.3 实时hdfs405
16.2.4 hadoop hbase的实现409
16.3 淘宝大数据解决之道411
16.3.1 淘宝数据分析412
16.3.2 淘宝大数据挑战413
16.3.3 淘宝oceanbase数据库414
16.3.4 淘宝将来的工作422
16.4 小结423
参考文献423
相关推荐
《大数据挑战与NoSQL数据库技术》共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术,并引入NoSQL数据库;系统篇主要介绍了各种类型NoSQL数据库的基本知识;应用篇对国内外几家知名公司在...
大数据挑战与NoSQL数据库技术是当今信息技术领域中的热门话题,特别是在数据量呈指数级增长的背景下,传统的数据库管理系统已经无法满足高效存储和处理大规模数据的需求。NoSQL(Not Only SQL)数据库应运而生,成为...
《大数据挑战与NoSQL数据库技术》一书,由陆嘉恒编著,深入探讨了在当前数据爆炸的时代,如何应对大数据带来的挑战,并介绍了NoSQL数据库技术作为解决方案的重要角色。本书内容丰富,旨在帮助读者理解大数据的特性、...
### 《大数据挑战-NoSQL数据库技术》读书笔记 #### 一、概论 NoSQL数据库是一种新型数据库管理系统,它区别于传统的关系型数据库,具备非关系型、分布式、不具备传统意义上的ACID特性的三大特点。 - **非关系型**...
二.NoSQL数据库的产生 关系数据库面临挑战 关系数据库面对超大规模和高并发的SNS类型的web2.0纯动态网站显得力不从心,暴露了很多难以克服的问题 A 大数据发展 大规模数据集合,多重数据带来了许多挑战,尤其是...
《NoSQL数据库技术实战》是腾讯公司前资深后台工程师倾力打造的一本专著,针对大数据时代的开发者,提供了丰富的知识内容。...通过阅读此书,读者可以深入了解NoSQL数据库,更好地应对大数据挑战。
总结,分布式数据库和NoSQL数据库是现代信息技术中的重要组成部分,理解它们的原理和应用可以帮助我们更好地应对大数据时代的挑战。通过学习本课件,你将能深入理解这些技术,并能在实际工作中灵活运用。
分布式NoSQL数据库、分布式文件系统和分布式搜索引擎的结合使用,为档案大数据的存储与检索提供了新的技术方案。分布式NoSQL数据库能够很好地处理半结构化和非结构化数据,这在档案数据中尤为常见,例如XML、JSON、...
为了解决这些挑战,可以采用分布式数据库、NoSQL数据库和NewSQL数据库等新兴数据库技术,加密技术和访问控制技术等安全机制,以及实时数据处理技术等。 5. 大数据背景下数据库技术的发展前景 大数据背景下数据库...
NoSQL数据库是大数据云计算技术中的重要组成部分,它们在处理海量数据和高并发访问场景下展现出卓越的性能。本教程将深入探讨NoSQL数据库的核心概念、优势、类型以及在实际应用中的最佳实践。 首先,让我们理解...
### NoSQL数据库与SQL数据库的区别 尽管NoSQL数据库在某些方面具有明显的优势,但它并非适用于所有场景。与传统的SQL数据库相比,两者之间的主要区别包括: - **数据模型**:SQL数据库采用固定的关系模型,而NoSQL...
例如,关系型数据库可能无法有效处理非结构化数据,这就需要新型的数据库技术,如NoSQL数据库,以适应大数据环境的需求。同时,索引技术也需要创新,例如分布式索引、列式存储索引和空间索引等,以提高大数据查询的...
本章主要探讨了NoSQL数据库的原理、兴起原因、与传统关系型数据库(RDBMS)的对比,以及NoSQL的主要类型。 5.1 NoSQL简介 NoSQL数据库的主要特点是灵活性和可扩展性。它们能够轻松处理海量数据,并适应高并发场景,...
随着大数据和云计算技术的发展,NoSQL数据库的重要性日益凸显。目前市场上有许多成熟的NoSQL解决方案,如MongoDB、Cassandra、Couchbase等,这些系统已经在众多领域得到了广泛应用,包括电子商务、社交网络、物联网...
在大数据背景下,数据库技术的发展面临着前所未有的挑战与机遇。随着数据量的爆炸性增长,传统的数据库管理系统已经无法满足处理海量数据的需求。因此,新的数据库技术应运而生,旨在提高数据处理效率,优化数据存储...
在数据库技术方面,传统的关系型数据库可能难以应对大数据的挑战,因此,分布式数据库、列式存储、内存计算、NoSQL数据库等新型数据库技术应运而生。分布式数据库通过数据分片和负载均衡来处理大规模数据,列式存储...