以前写过一篇文档讨论MPP DB的发展，《MPP DB 是大数据实时分析系统未来的选择吗？》，当时主要是想讨论下Greenplum数据库是否合适做数据存储，以及实时查询。文章我主要提的MPP DB短板是扩展性和对并发的支持，从目前Pivotal公司主推的HAWK，已经可以清楚的看到，业界主流的思路是SQL onhadoop，用传统引擎的高性能加上hadoop 存储的鲁棒性，来构建大数据实时分析。
一、为什么SQL on hadoop会流行？
SQL其实也是一种DSL，将复杂的数据操作抽象成几个关键字（insert，update，select，delect等），SQL易学易用，程序员和DBA掌握的很多。因此Hadoop成为流行的大数据分析解决套件之后，SQL on hadoop成为无法阻挡的趋势。总结两句话：为什么非要把SQL放到Hadoop上？ SQL易于使用。那为什么非得基于Hadoop呢？the robust and scalable architecture of Hadoop。
SQL on hadoop有Dremel/PowerDrill(Google) Impala(Cloudera) HIVE/Stinger/Tez(Hortonworks) HAWK(EMC) SQL on spark/Shark(Berkeley) 等，这些系统各有各的发展历程，以及特点，同时也存在显著的缺点。
二、今天讨论一个思路：一套数据，多个引擎。
SQL on hadoop目前最成熟的应该是Hive，发展早，使用多。Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案，甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序，而全用来跑Hive SQL的查询任务。目前Hive的主要缺点：
1，data shuffle时网络瓶颈，Reduce要等Map结束才能开始，不能高效利用网络带宽
2，一般一个SQL都会解析成多个MR job，Hadoop每次Job输出都直接写HDFS，性能差
3，每次执行Job都要启动Task，花费很多时间，无法做到实时
4，由于把SQL转化成MapReduce job时，map,shuffle和reduce所负责执行的SQL功能不同。那么就有Map->MapReduce或者MapReduce->Reduce这样的需求。这样可以降低写HDFS的次数，从而提高性能。很明显，由于架构上的天然涉及，Hive只适合批处理。
Cloudera的impala是另外一个典型的代表，Impala可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体，根据Cloudera公司的宣传，也是目前业界开源的最快的引擎，相关测试结果可以参考http://blog.cloudera.com/blog/2014/05/new-sql-choices-in-the-apache-hadoop-ecosystem-why-impala-continues-to-lead/。
最近发布的CDH5.2中包含了impala 2.0，impala 2.0对SQL兼容性和关键的join有重大改进。
Impala 2.0 (Ships in Fall 2014)
1. SQL 2003-compliant analytic window functions (aggregation OVER PARTITION, RANK, LEAD, LAG, NTILE, and so on) – to provide more advanced SQL analytic capabilities
2. External joins and aggregations using disk – enables operations to spill to disk if their internal state exceeds the aggregate memory size
3. Subqueries inside WHERE clauses
4. Incremental statistics – only run statistics on the new or changed data for even faster statistics computations
5. Additional data types – including VARCHAR, CHAR
6. Additional built-in functions – enables easier migration of custom language extensions for users of traditional SQL engines
当能impala也不是包打天下，对批量数据的处理如数据挖掘分析，还是不如HIVE稳定可靠。而impala天然是继承Hive的元数据，所以完全可以综合两者的优点，同一套数据，多个引擎。Impala应对秒级的交互查询，Hive应对批量数据的分析。下面是impala官方介绍的impala和Hive的关系。
How Impala Works with Hive
A major Impala goal is to make SQL-on-Hadoop operations fast and efficient enough to appeal to new categories of users and open up Hadoop to new types of use cases. Where practical, it makes use of existing Apache Hive infrastructure that many Hadoop users already have in place to perform long-running, batch-oriented SQL queries.
In particular, Impala keeps its table definitions in a traditional MySQL or PostgreSQL database known as the metastore, the same database where Hive keeps this type of data. Thus, Impala can access tables defined or loaded by Hive, as long as all columns use Impala-supported data types, file formats, and compression codecs.
The initial focus on query features and performance means that Impala can read more types of data with the SELECT statement than it can write with the INSERT statement. To query data using the Avro, RCFile, or SequenceFile file formats, you load the data using Hive.
The Impala query optimizer can also make use of table statistics and column statistics. Originally, you gathered this information with the ANALYZE TABLE statement in Hive; in Impala 1.2.2 and higher, use the Impala COMPUTE STATS statement instead. COMPUTE STATS requires less setup, is more reliable and faster, and does not require switching back and forth between impala-shell and the Hive shell.
如果需要更高的OLAP分析速度，可以考虑kylin，最近有ebay开源的OLAP引擎。核心思路，数据提取建模，通过HIVE将数据转换成cube，存入HBASE中方便查询。这个就是要求提前建立cube，智能应对特定的模型。
三、需要做的工作：
要做到HIVE/impala共一套数据，其实也有很多工作。目前impala主要在Parquet格式下性能高，HIVE主要使用的是ORCFile。两种存储格式都是列式存储，各有优势。Parquet主要是支持嵌套式数据，ORCFile的每个strip中有一段index data。Index data包含每列的最大和最小值以及每列所在的行。行索引里面提供了偏移量，它可以跳到正确的压缩块位置。具有相对频繁的行索引，使得在stripe中快速读取的过程中可以跳过很多行，尽管这个stripe的大小很大。所以需要两个引擎各自兼容对ORCFile/Parquet的支持，或者融合两种存储格式的优点，让HIVE/impala支持。
相关推荐
2024年机器人大作业代码
这是mysql文件直接导入就行了，可以查一下相关指令例如：mysql -u root -p mydb_copy < mydb.sql就好了，这里就不多赘述了
Android 毕业设计，Android 毕业设计，小Android 程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
管理员 管理员信息管理 学院管理 辅导员管理 学生信息管理 公告信息 辅导员 个人资料修改 团员信息管理 优秀团员管理 团费缴纳管理 团员活动管理（主题，内容，参与人数，日期） 团员活的报名 学生 个人资料修改 入团申请管理（提交申请，申请结果查看） 团员活动查看（只能查看，不能修改，活动报名） 团员活动报名 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 服务器：tomcat7
基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目），个人大四的毕业设计、经导师指导并认可通过的高分设计项目，评审分99分，代码完整确保可以运行，小白也可以亲自搞定，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业。 基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）基于springboot图书管理系统源码+数据库+详细使用说明（高分毕设项目）个人大四的毕业设计、经导师指导并认可通过的高分设计项目，评审分99分，代码完整确保可以运行，小白也可以亲自搞定，主要针对计算机相关专业的正在做毕设的学生和需要。
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
汽车检测33-YOLO（v5至v9）数据集合集.rar多对象-V4 2023-03-12 9:33 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包含4278张图像。 多对象以Yolo V5 Pytorch格式注释。 将以下预处理应用于每个图像： *调整大小为640x640（拉伸） 应用以下扩展来创建每个源图像的3个版本： 将以下转换应用于每个图像的边界框： *以下90度旋转之一的同等概率：无，顺时针，逆时针方向
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
三亚市2005-2024年近20年的历史气象数据，每3小时更新一次数据，参数包含气温、气压、降水量、云层、能见度、风向、湿度等，几万条数据
详细介绍及样例数据：https://blog.csdn.net/T0620514/article/details/144542157
项目包含前后台完整源码。 项目都经过严格调试，确保可以运行！ 具体项目介绍可查看博主文章或私聊获取 助力学习实践，提升编程技能，快来获取这份宝贵的资源吧！
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
1、嵌入式物联网单片机项目开发实战。例程经过精心编写，简单好用。 2、代码使用KEIL 标准库开发，当前在STM32F103运行，如果是STM32F103其他型号芯片，依然适用，请自行更改KEIL芯片型号以及FLASH容量即可。 3、软件下载时，请注意keil选择项是jlink还是stlink。 4、有偿指导v：wulianjishu666; 5、如果接入其他传感器，请查看发布的其他资料。 6、单片机与模块的接线，在代码当中均有定义，请自行对照。 7、若硬件差异，请根据自身情况调整代码，程序仅供参考学习。 8、代码有注释说明，请耐心阅读。
瓶罐瓶子罐子检测75-YOLO（v5至v9）、COCO、CreateML、Darknet数据集合集.rar街7级-V2 2023-04-28 11:45 PM ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括8934张图像。 街道以可可格式注释。 将以下预处理应用于每个图像： *像素数据的自动取向（带有Exif-Arientation剥离） *调整大小为640x640（拉伸） 没有应用图像增强技术。
管理员 管理员信息管理 负责人管理 员工信息管理 公告信息管理 小型车收费标准设置（元/每公里） 大卡车收费标准设置(元/吨公里) 收费信息统计，统计小车和卡车收费，按月统计 负责人 个人资料修改 公告查看 小车收费统计（某员工某月统计） 大卡车收费统计（某员工某月统计） 员工 个人资料修改 公告查看 小型车收费登记（车牌号，车辆照片，行使公里数，收费金额，收费日期，收费员，按公里数可以自动计算费用 收费金额=收费标准*公里数） 大卡车金额设置(每吨/元)（车牌号，车辆照片，行使公里数，吨，收费金额，收费日期，收费员， 收费金额=收费标准*吨*公里数 ） 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7 数据库工具：Navicat11 开发软件：eclipse/idea Maven包：Maven3.3 服务器：tomcat7
Matlab领域上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
Python课程设计，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。
桌球检测10-YOLO（v5至v9）、Darknet、Paligemma、TFRecord、VOC数据集合集.rar大理石-V3版本 ============================= *与您的团队在计算机视觉项目上合作 *收集和组织图像 *了解和搜索非结构化图像数据 *注释，创建数据集 *导出，训练和部署计算机视觉模型 *使用主动学习随着时间的推移改善数据集 对于最先进的计算机视觉培训笔记本，您可以与此数据集一起使用 该数据集包括105张图像。 大理石以Yolo V3 Darknet格式注释。 将以下预处理应用于每个图像： 没有应用图像增强技术。
项目包含前后台完整源码。 项目都经过严格调试，确保可以运行！ 具体项目介绍可查看博主文章或私聊获取 助力学习实践，提升编程技能，快来获取这份宝贵的资源吧！
喜来登五星酒店酒店数字客房管理系统.docx