本书是基于案例或技术体系来介绍大数据的IT架构,在章节划分上,每个节内容都是独立的,都分别由案例的参与/主导者来进行架构介绍。
第一部分内容电信运营商上网日志处理架构
主要基于电信大量的客户上网日志,进行客户行为分析。该系统采用典型的HBase、MapReduce、HDFS部署结构实现存储、数据清洗、转换、校验和装载过程。
第二部分内容Hadoop平台在金融银行业的应用架构
重点体现了Hadoop分布式存储、分布式计算、并行处理大数据集、提供数据冗余避免单点故障的优点
也描述了所扮演的海量数据存储、海量数据快速搜索功能、数据挖掘角色。
第三部分优酷土豆Hadoop平台
该章节作者首先强调了系统的安全,围绕Hadoop平台以下几个问题,强调安全:
1、Linux终端随意连接,通过跳转机获取目标服务器较高权限的用户操作
2、非法应用的连接,缺乏身份认证,导致应用可以轻易的连接到资源并做操作
3、用户身份冒充,通过user.name属性设置,实现A用户冒充B用户,并且造成资源消耗假象
4、slave节点随意添加,容易造成数据存储结构被破坏
并针对上述问题提供了解决方案,在文中描述问题解决的思路较为清楚,但是具体如何实现和指导落地还是缺乏内容支持。
作者认为Hadoop平台对于最终用户不仅仅能够处于可用的状态,更重要的是需要运营好这个平台,因此提出了基于规范的操作、工作流程、监控及异常分析等作业内容。
第四部分淘宝海量文件存储实践
该章节以淘宝的文件存储系统(TaoBao File System)为基础,进行了对系统的技术体系介绍,对于想要使用TFS来作为文件存储的读者,该章节内容起到了很好的入门效果
我看了下整书的目录,分的类型很多,包括:Hadoop平台应用架构、推荐系统架构、应用架构实践、大数据下的存储实践、数据库架构实践、大数据下的IT架构变迁,我觉得通过这些章节的划分,能够迎合的读者类型也很多。
从试读章节看,第一、二部分内容很适合售前人员,第三部分内容(如果还有类似章节内容)很适合运营管理人员,第四部分,那就是适合设计师、开发人员啦。我对整书这样的内容归类和章节侧重点的设置还是很有好感,各自独立不影响选择性阅读,各类读者可以根据自己最需要的内容快速定位阅读内容。
相关推荐
"大数据技术及架构图解实战派" 本书《大数据技术及架构图解实战派》是一本全面介绍大数据技术及架构的书籍,旨在帮助读者深入理解大数据技术的内涵、应用场景和实际应用。以下是本书的主要知识点: 一、 大数据...
【系统架构设计师】论文主要探讨了微服务架构在构建一站式互联网大数据征信平台中的应用,文章首先介绍了背景,指出传统单体架构在面对快速变化的需求和大规模用户量时的不足,以此作为采用微服务架构的理由。...
论企业集成架构设计及应用企业集成架构(Enterprise Integration Arhitecture,EIA) 是企业集成平台的核心,也是解决企业信息孤岛问题的关键。企业集成架构设计包括了企业信息、业务过程、应用系统集成架构的设计。...
### 大数据时代少儿阅读推广的创新型策略研究 #### 一、利用大数据技术,提高少儿阅读活动质量 在大数据时代背景下,图书馆面临着前所未有的机遇与挑战。为了更好地服务于少年儿童,提升阅读活动的质量,图书馆...
信息架构师需要了解新技术,并将这些技术融入架构设计中。例如,利用大数据、机器学习等技术可以帮助更好地理解用户,从而设计出更加个性化的信息架构。 7. 信息架构的挑战:信息架构工作面临多个挑战,包括如何...
根据提供的文件信息,可以看出这份材料主要涉及的是Spring Cloud与Docker在高并发微服务架构设计中的应用,并且提供了关于如何获取该电子书的信息。然而,实际内容并未给出具体的技术细节,而是介绍了如何联系作者...
Lambda架构是大数据平台里最成熟、最稳定的架构,它是一种将批处理和流处理结合起来的大数据处理系统架构,其核心思想是将批处理作业和实时流处理作业分离,各自独立运行,资源互相隔离,解决传统批处理架构的延迟...
云原生架构是基于云原生技术的一组架构原则和设计模式的集合,旨在将云应用中的非业务代码部分进行最大化剥离,从而让云设施接管应用中原有的大量非功能特性(如弹性、韧性、安全、可观测性、灰度等),使业务不再有非...
根据给定文件信息,本文将详细解读标题“电商大数据 用数据驱动商和商业案例解析_试读版 PDF电子书下载 带书签目录.pdf”所含有的知识点。 首先,标题中提到的“电商大数据”是一个关于电子商务领域的数据集合,它...
企业应用集成(Enterprise Application Integration, EAI)是每个企业都必须要面对的实际问题。面向服务的企业应用集成是一种基于面向服务体系结构(Service-OrientedArchitecture,SOA)的新型...增强企业IT环境的灵活性。
论微服务架构及其应用近年来,随着互联网行业的迅猛发展,公司或组织业务的不断扩张,需求的快速变化以及用户量的不断增加,传统的单块(Monolithic)软件架构面临着越来越多的挑战,已逐渐无法适应互联网时代对软件...
分布式存储系统(Distributed Storage System)通常将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大...
NoSQL(Not only SQL )的产生就是为了解决大规模数据集合及多种数据类型带来的挑战,尤其是大数据应用难题。目前NoSQL数据库并没有一个统一的架构,根据其所采用的数据模型可以分为4类:键值(Key-Value)存储...
根据提供的信息,我们可以深入挖掘与“软件小设计试读样章”相关的专业知识点。此章节旨在探讨软件设计的核心概念,并通过实例分析来帮助读者更好地理解软件设计的基本原理和技术要点。 ### 软件设计的经典原则 ##...
根据提供的文件信息,内容涉及到游戏设计领域的一本重要著作《游戏设计梦工厂试读样章》,并且提到了游戏设计大师陈星汉及其恩师Tracy Fullerton的作品,以及相关的版权信息和出版社信息。以下是对这些信息的详细...
层次架构作为软件系统设计的一种基本模式,对于实现系统的模块化、可维护性和可扩展性具有至关重要的作用。在软件系统的构建过程中,采用层次架构不仅可以使系统结构更加清晰,还有助于提高开发效率和质量。因此,对...
在分布式、多层结构及基于组件和服务器端程序设计的企业级应用开发中,应用服务器提供的是一个开发、部署、运行和管理、维护的平台,提供软件“集群”功能,可以让多个不同的异构服务器协同工作、相互备份,以满足...