无剑胜有剑——《大数据挑战与NoSQL数据库技术》试读笔记

无剑胜有剑——《大数据挑战与NoSQL数据库技术》试读笔记

 

大数据就在我们身边

       伴随着1946年世界上第一台计算机的诞生，人们对于数据的处理就进入了一个新的时代，计算机所管理的数据一直在不断的增长；尤其是从1990年互联网向公众开放之后，数据交换的便捷使得计算机所要处理的数据更是以惊人的速度增长。在可以预见的未来，当我们这一代网民大军逐渐成为社会主流的时候，不仅计算机所要处理的数据还会不断增多，而且数据增长的速度也会不断增加，所以这种增长方式并不是一种简单的积累而是成倍的成指数的增长。IDC数据显示，2006年全世界的电子数据存储量为18万PB，到2011年，这个数字已经达到了180万PB；早在2011年底，淘宝网的日新增数据就达到50TB，现在可能更多。所以不管我们有没有意识到，计算机所要处理的数据已经进入一个越来越高速增长的时代。

 

把好大数据处理的第一关

       对于数据处理而言，首要的一步肯定是将这些数据有效的存储和管理起来，然后再进行后续的查询、挖掘、计算等等一系列更加发挥数据价值，充分利用数据的活动。当数据量不是那么庞大的时候，我们有文件系统、关系数据库来帮我们完成这重要的一步，可是当我们面对如上面所说那么庞大的数据和快节奏的数据增长时，我们如何能走好这计算机处理这些海量数据的第一步——存储和管理？面对这样的挑战，目前我们有并行数据库、NoSql数据库、NewSql数据库和基于云的大数据管理四种解决方案。在《大数据挑战与NoSQL数据库技术》这本书中，作者将带领我们通过NoSql的手段来把好这一关！

 

试读收获与感受

       阅读之前先看了本书的目录，觉得这本书从理论到实例再到应用的结构安排方式相当合理，很合口味。本书提供的试读有三个章节，第一章中作者首先用数据展示了在当前技术条件下，我们所面临的大数据处理是一个挑战，接下来作者总体从大数据的存储与管理和大数据的处理与分析两个方面进行了一个全局性的阐述，当然重点是大数据处理的第一步大数据的存储与管理。从这里我了解到了Nosql更合理的理解方式是not only sql,它是一种对关系型SQL数据系统的补充。通过多种实现技术，它达到了大数据处理高扩展性和灵活性的要求，可是它也有数据模型和查询语言没有经过数学验证、不支持ACID特性、功能简单和没有统一的查询模型等缺点。NewSql则是通过对现有关系数据库进行分析，找出性能有限制的方面进行改良和优化。Nosql和Newsql也有交叉之处。对于大数据处理与分析而言，基于单机计算能力的分析软件已经显得力不从心，Hadoop，MapReduce，R等开源大数据分析工具受到青睐。第二章中作者首先提出Nosql数据管理系统的理论基础：CAP理论（强一致性、可用性和分区一致性不能同时满足），然后对与大多数系统所采用的BASE模型（放弃强一致性）进行了全面的介绍，最后作者介绍了5中实现数据一直性的技术，这些技术在具体实现的时候都是基于CAP理论进行了权衡的其中的主要思想值得我们反复思考。第十一章则像我们介绍了两款具体的文档数据库：MongoDB和CouchDB，分别对它们的操作和其中的概念做了比较详细的介绍，同时对他们进行了对比分析，最终得出CouchDB更适合于构件Lotus Notes型的应用、需要用到master-master构架的应用、基于地理位置的数据分布或用于移动终端的嵌入式系统的应用，因为它是基于HTTP协议并采用MVCC机制的；MongoDB更适合于提供高性能的数据存储服务和需要大量update操作的应用场景，如存储大型个人网站的用户信息，构建其他存储层之上的cache层。
       读完了这几章试读之后，我学到了NoSql和文档数据库的一些知识，对它们有了一个新的认识和理解。我觉得NoSql相比于sql而言就像是武侠小说练剑的境界一样，Nosql是无模式，就像心中有剑，而手中无剑（有CAP理论为基础，但各个数据库的实现方式又各有权衡各有取舍），所以剑招变化是无穷无尽的，也即有了高的扩展性和灵活性，而sql则是像拥有精妙招式的独孤九剑一样，虽然不能做到无穷变化，但是也足以雄霸一方武林（数据不是那么海量的情况）。对于这本书的感受，我觉得这是一本对于大数据的存储与管理的全面参考手册，这本书从理论到实践讲述的非常全面，适合对于Nosql不甚了解的初学者去探索获取对于整体知识脉络的把握，也适合数据处理从业者常放案头作为一本知识补充和数据库选择参考工具书来用。正所谓适合的才是最好的，有了这本书，我们就能够在大数据背景下把各种Nosql技术这些好刚用在我们应用场景的刀刃上。