11、hadoop--数据收集原理

常见的两种数据来源

分散的数据源：
 机器产生的数据；
 用户访问日志;
 用户购买日志;
传统系统中的数据：
 传统关系型数据库:MySQL、 Oracle等;
 磁盘阵列;
 磁带.

常见的Hadoop收集与入库系统：
数据收集
 Flume
 Kafka
 Scribe
传统数据库与Hadoop同步
 Sqoop

file-->hadoop





rdbs<-->hadoop(hbase/hive)利用MapReduce