前言
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
本文为“Hadoop家族”开篇，Hadoop家族学习路线图
目录
- Hadoop家族产品
- Hadoop家族学习路线图
1. Hadoop家族产品
截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/
接下来，我把这20个产品，分成了2类。
- 第一类，是我已经掌握的
- 第二类，是TODO准备继续学习的
一句话产品介绍:
- Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
- Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
- Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
- Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
- Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
- Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
- Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
- Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
- Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
- Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
- Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
- Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
- Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
- Apache Giraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
- Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
- Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
- Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
- Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
- Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
- Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。
2. Hadoop家族学习路线图
下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。
Hadoop
- Hadoop学习路线图
- Yarn学习路线图
- 用Maven构建Hadoop项目
- Hadoop历史版本安装
- Hadoop编程调用HDFS
- 海量Web日志分析 用Hadoop提取KPI统计指标
- 用Hadoop构建电影推荐系统
- 创建Hadoop母体虚拟机
- 克隆虚拟机增加Hadoop节点
- R语言为Hadoop注入统计血脉
- RHadoop实践系列之一 Hadoop环境搭建
- 用MapReduce实现矩阵乘法
- PageRank算法并行实现
- PeopleRank从社交网络中发现个体价值
Hive
Pig
- Pig学习路线图
Zookeeper
- Zookeeper学习路线图
- ZooKeeper伪分步式集群安装及使用
- ZooKeeper实现分布式队列Queue
- ZooKeeper实现分布式FIFO队列
HBase
- HBase学习路线图
- RHadoop实践系列之四 rhbase安装与使用
Mahout
- Mahout学习路线图
- 用R解析Mahout用户推荐协同过滤算法(UserCF)
- RHadoop实践系列之三 R实现MapReduce的协同过滤算法
- 用Maven构建Mahout项目
- Mahout推荐算法API详解
- 从源代码剖析Mahout推荐引擎
- Mahout分步式程序开发 基于物品的协同过滤ItemCF
- Mahout分步式程序开发 聚类Kmeans
- 用Mahout构建职位推荐引擎
- Mahout构建图书推荐系统
Sqoop
- Sqoop学习路线图
Cassandra
- Cassandra学习路线图
- Cassandra单集群实验2个节点
- R利剑NoSQL系列文章 之 Cassandra
相关推荐
Hadoop 家族学习路线图 Hadoop 家族学习路线图主要介绍了 Hadoop 家族产品，常用的项目包括 Hadoop, Hive, Pig, HBase, Sqoop, Mahout,Zookeeper, Avro, Ambari, Chukwa 等。这些项目都是大数据处理的重要组件，...
最后，大数据方向的学习路线图指导了学习者的路径。通常，这会从基础的编程语言（如Python、Java）开始，然后逐步深入到数据结构与算法、数据库管理、分布式系统、大数据框架等专业课程。随着学习的深入，可以逐步...
首先，K1 Power Systems的发展路线图清晰稳健，体现了核心技术的自主可控。自POWER5时代起，K1 Power Systems经历了POWER5、POWER5+、POWER6、POWER6+、POWER7、POWER7+、POWER8、POWER8 NV、POWER9直至最新的POWER...
内容概要：本文详细介绍了如何利用LTspice进行LDO（低压差线性稳压器）电源电路的仿真。首先讲解了如何导入LDO模型并配置仿真环境，接着深入探讨了瞬态分析、相位裕度、电源抑制比(PSRR)等关键仿真的具体步骤和注意事项。文中提供了多个实用的操作技巧，如通过调整补偿电容优化相位裕度，以及使用.step param命令批量测试不同参数的影响。此外，还分享了一些常见的仿真误区及其解决方法，帮助读者更好地理解和掌握LDO的设计与调试。 适合人群：电子工程专业学生、电源电路设计初学者、希望深入了解LDO特性的工程师。 使用场景及目标：适用于希望通过仿真工具提高LDO设计技能的人群。主要目标是掌握LDO的基本工作原理，学会使用LTspice进行各种类型的仿真分析，从而优化电路设计，确保系统的稳定性和性能。 其他说明：文章不仅提供详细的仿真步骤和技术细节，还附带了作者的实际经验和常见问题解决方案，使读者能够在实践中不断改进自己的设计思路。
渝安集团员工职业发展通道设计方案.ppt
内容概要：本文详细介绍了新能源电动汽车中VCU（整车控制器）和BMS（电池管理系统）的HIL（硬件在环）仿真技术。首先阐述了整车建模的基础，包括电池、电机等关键部件的建模要点。接着分别解析了驾驶员模块、仪表模块、BCU整车控制器模块、MCU电机模块、TCU变速箱模块、BMS电池管理模块等多个子模块的功能和实现方式。最后强调了HIL仿真在电动汽车控制系统测试和优化中的重要性，特别是在降低成本和风险方面的作用。 适合人群：从事新能源汽车研发的技术人员，尤其是专注于VCU和BMS领域的工程师。 使用场景及目标：适用于需要深入了解电动汽车控制系统仿真技术的研发团队，在产品开发初期进行系统测试和优化，确保各子系统间的协同工作正常。 其他说明：文中提供了大量代码示例，帮助读者更好地理解和实践相关概念和技术细节。此外，还分享了一些实际项目中的经验和教训，如故障注入测试的具体应用场景等。
如何应对一线人员春节后的离职潮
线性代数
离职面谈表.xls
聚宽对接qmt大礼包，配备需要的全部软件：python3.9版本，qmt模拟安装包，pycharm安装包，talib包
试用期转正表.xls
招聘数据分析.xls
如何让新员工快速融入团队
内容概要：本文详细介绍了并离网逆变器的两种主要控制策略——PQ控制和V/f控制，以及无功能量发生器(SVG)和有源电力滤波器(APF)的仿真模型。对于PQ控制，文章展示了如何将功率指令转化为电流指令，并强调了电网电压定向和限幅处理的重要性。V/f控制则用于离网模式，通过调节电压和频率来维持系统的稳定。SVG主要用于无功补偿，通过实时计算无功需求进行补偿。APF则专注于谐波检测和消除，利用自适应滤波器提高效率。此外，文中还提供了多个实用的小技巧，如仿真步长设置、模式切换时的前馈补偿等。 适合人群：从事电力电子仿真研究的技术人员，尤其是对逆变器控制策略感兴趣的工程师。 使用场景及目标：适用于需要深入理解和实现逆变器控制策略的研究项目，帮助工程师优化仿真模型，提升系统性能，确保仿真结果的准确性。 其他说明：文章不仅提供了详细的代码片段，还分享了许多实践经验，有助于读者避免常见错误，提高仿真成功率。
内容概要：本文详细介绍了如何利用Carsim与Simulink进行联合仿真，通过线性二自由度模型和卡尔曼滤波（KF）来估计车辆的质心侧偏角和横摆角速度。首先搭建了联合仿真框架，Carsim提供车辆状态量，Simulink负责算法处理。文中展示了线性二自由度模型的状态方程及其参数设定，并深入探讨了KF的两种实现方式：S函数编程和Simulink内置模块。对于S函数实现，着重讲解了状态转移矩阵的动态更新以及噪声矩阵Q的调整策略，确保模型能够适应车速变化。而对于内置模块，则指出了其在灵活性方面的不足之处。此外，还讨论了联合仿真的配置要点，如数据接口同步、采样时间和信号处理等问题。 适合人群：从事车辆动力学研究、控制理论应用、自动化控制领域的工程师和技术人员。 使用场景及目标：适用于需要精确估计车辆质心侧偏角和横摆角速度的研究和开发项目，特别是在涉及ESP等主动安全系统的开发过程中。目标是提高估计精度，增强系统的鲁棒性和响应速度。 其他说明：文章提供了详细的代码片段和实践经验分享，帮助读者更好地理解和实施相关技术。建议在实际应用中根据具体需求选择合适的KF实现方式，并注意处理各种边界条件和异常情况。
档案管理[03]
内容概要：本文详细介绍了风电与储能联合调频系统的原理及其优化方法。首先解释了风电输出功率的波动性和对电网频率的影响，提出储能系统作为解决方案。文中展示了如何用Python生成风速数据并构建调频控制系统，重点讨论了PID控制器的设计以及SOC（荷电状态）管理策略。此外，还探讨了调频控制逻辑、硬件在环测试、风电功率预测模型（如LSTM）、调频效果验证方法及储能系统的物理限制等问题。最后强调了模型验证的重要性，提出了异常数据注入测试的方法。 适合人群：从事电力系统自动化、新能源发电及储能技术研发的专业人士，尤其是有一定编程基础的研究人员和技术工程师。 使用场景及目标：适用于需要理解和实施风电与储能联合调频项目的团队。主要目标是提高电网稳定性，减少风电波动带来的负面影响，同时延长储能系统的使用寿命。 其他说明：文中提供了大量实用的Python代码示例，涵盖了从数据生成到控制逻辑实现再到模型验证的全过程。对于希望深入理解风储调频系统的工作机制和技术挑战的人来说，是一份非常有价值的参考资料。
HCIA-Storage V4.5 培训教材 合集
内容概要：本文详细介绍了利用西门子S7-1200系列PLC和博途V15软件平台构建的小车自动往返控制系统。首先进行硬件组态，选择合适的CPU并配置输入输出点位，确保限位开关和急停按钮的有效接入。接着编写梯形图逻辑，实现小车在AB两点间的精确控制，采用定时器互锁机制避免电机损坏。然后设计触摸屏界面，通过WinCC创建动画效果展示小车运动状态，并设置按钮操作实现手动与自动模式切换。最后进行联合仿真实验，解决常见错误如变量地址配置不当等问题，确保系统稳定运行。 适合人群：工业自动化领域的工程师和技术人员，尤其是对PLC编程和HMI设计有一定基础的学习者。 使用场景及目标：适用于需要掌握PLC控制系统设计全流程的专业人士，帮助他们理解如何整合硬件组态、梯形图编程以及HMI开发，最终完成一个完整的自动化工程项目。 其他说明：文中提供了详细的调试经验和技巧，附带74分钟的操作录像资料，有助于读者更好地理解和实践相关知识点。
公司员工关怀工作清单