`
sungang_1120
  • 浏览: 321622 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类

使用flume日志采集直接将采集数据导入hive

阅读更多

 

今天给大家分享下 使用flume采集日志,直接将日志导入对应的hive表中,然后使用hive进行日志分析

 

下面就以apache access log为例

 

具体使用hive的外部表还是普通的表,个人决定哈

 

我这里就以普通表来讲解,首先我们创建一个hive表(注:此表我是从hive官网上直接拷贝修改了下表名,哈哈)

 

1,首先进入hive 命令行模式

我创建了一个自己的数据库

 

create database hive_1208;

 然后使用该数据库:

 

 

use hive_1208;

 直接执行建表语句:

 

 

CREATE TABLE td_log_analyze(
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
partitioned by (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?",
  "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"
)
STORED AS TEXTFILE;

 

 

2,然后你就可以在hdfs 看到对应的目录



 

下面就该flume 出动了,

我的配置如下:

 

#定义agent名, source、channel、sink的名称
logAnalyzeAG.sources = r1
logAnalyzeAG.channels = c1
logAnalyzeAG.sinks = k1

#具体定义source
logAnalyzeAG.sources.r1.type = spooldir
logAnalyzeAG.sources.r1.spoolDir = /usr/local/nginx_logs
#设置缓存提交行数
logAnalyzeAG.sources.s1.deserializer.maxLineLength =1048576
logAnalyzeAG.sources.s1.fileSuffix = .DONE
logAnalyzeAG.sources.s1.ignorePattern = access(_\d{4}\-\d{2}\-\d{2}_\d{2})?\.log(\.DONE)?
logAnalyzeAG.sources.s1.consumeOrder = oldest
logAnalyzeAG.sources.s1.deserializer = org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
logAnalyzeAG.sources.s1.batchsize = 5
#定义拦截器,为消息添加时间戳
#logAnalyzeAG.sources.r1.interceptors = i1
#logAnalyzeAG.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder


#具体定义channel
logAnalyzeAG.channels.c1.type = memory
logAnalyzeAG.channels.c1.capacity = 10000
logAnalyzeAG.channels.c1.transactionCapacity = 100

#具体定义sink
logAnalyzeAG.sinks.k1.type = hdfs
#%y-%m-%d/%H%M/%S
#这里对应就是hive 表的目录 此处如果是外部表,则直接对应你的localtion地址,如果普通则对应到你的hive表目录即可
logAnalyzeAG.sinks.k1.hdfs.path = hdfs://192.168.3.141:9000/hive/warehouse/hive_1208.db/td_log_analyze/%Y-%m-%d_%H
logAnalyzeAG.sinks.k1.hdfs.filePrefix = nginx-%Y-%m-%d_%H
logAnalyzeAG.sinks.k1.hdfs.fileSuffix = .log
logAnalyzeAG.sinks.k1.hdfs.fileType = DataStream
#不按照条数生成文件
logAnalyzeAG.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
logAnalyzeAG.sinks.k1.hdfs.rollSize = 2914560
#HDFS上的文件达到60秒生成一个文件
#logAnalyzeAG.sinks.k1.hdfs.rollInterval = 60
logAnalyzeAG.sinks.k1.hdfs.useLocalTimeStamp = true

#组装source、channel、sink
logAnalyzeAG.sources.r1.channels = c1
logAnalyzeAG.sinks.k1.channel = c1

 

 

 

我这是flume sources使用的是spoolDir type监控/usr/local/nginx_logs

 

进去该监控目录vi assec_2015-12-08_12.log

将如下数据导入加入

 

180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/994" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"
		180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/994" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"
		180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.iteblog.com/archives/994" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36"

 

 

保存完之后了flume则会采集该日志 到指定的hdfs dir

 

==你会看到hdfs目录如下:



 

此时在说明日志采集成功,

我这里是对日志进行的分区存放,所以要想将hive表对应指定分区需要创建hive 分区如下

 

ALTER TABLE td_log_analyze ADD IF NOT EXISTS PARTITION (dt='2015-12-08_12') LOCATION '/hive/warehouse/hive_1208.db/td_log_analyze/2015-12-08_12/';

 

 

此时你进去hive命令执行查看分区是否创建成功

 

show partitions td_log_analyze;

 

 

 

然后查询hive表

 

select * from td_log_analyze;

 

 



 

 

OK到此处一切正常结束,具体分析就看个人业务了哈

注:上面需要手动给hive创建分区那个步骤,看具体分区的间隔,可写自动化脚本来自动创建分区,个人建议提前一天创建分区即可。

  • 大小: 56.1 KB
  • 大小: 49.6 KB
  • 大小: 3.7 KB
  • 大小: 43.2 KB
分享到:
评论

相关推荐

    Flume采集Nginx日志到Hive.rar

    Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件,具体使用方式可参见博文:https://blog.csdn.net/l1028386804/article/details/97975539

    Flume采集Nginx日志到新版Hive.rar

    在这个例子中,我们需要配置一个Source来读取Nginx的日志文件,一个Sink将数据写入Hive。 配置Flume时,我们需要创建一个Agent,定义Source、Channel和Sink。Source可以选用FileTailSource,它能监听指定的日志文件...

    利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka

    在这个场景中,Flume将数据推送到Kafka,使得数据可以实时地被其他消费者(如Storm、Spark Streaming等)处理。 5. **wlslog.sql**: 这个文件可能是SQL脚本,用于创建或操作MySQL中的表结构,以配合Flume的数据抽取...

    大数据采集技术-Flume组件.pptx

    Hive Sink直接将数据导入Hive表,方便数据分析;Kafka Sink将数据推送到Kafka主题,支持实时流处理。根据实际应用场景,可以选择合适的Sink类型,实现数据的有效传输和存储。 4. Flume Agent: Flume Agent是Flume...

    数据中心IPv6网络日志采集平台的设计与实现.docx

    标题提及的“数据中心IPv6网络日志采集平台”是一种专门针对IPv6网络环境设计的监控和管理系统,旨在解决随着IPv6大规模部署而带来的管理和运维挑战。该平台主要关注的是高校数据中心的IPv6网络,因为这些机构的IPv6...

    Flume笔记.zip

    - 在离线分析中,Flume 可以作为数据预处理步骤,将原始日志数据导入 Hadoop HDFS,供 MapReduce 或 Hive 进行后续分析。 结合配套视频资源(https://space.bilibili.com/320773563/channel/detail?cid=173209),...

    大数据相关安装包(hadoop,hive,flume,mysql,kafka,spark,sqoop,azkaban等安装包)

    7. **Sqoop**:Sqoop是一个用于在Hadoop和传统数据库之间导入导出数据的工具,可以将结构化数据从RDBMS高效地导入到Hadoop的HDFS或Hive中,同时也支持将数据导出回RDBMS。 8. **Azkaban**:Azkaban是一个工作流调度...

    基于hadoop生态搭建的电商数据仓库,整体功能架构包含数据采集、数仓搭建、数据导出、数据可视化等.zip

    Hadoop生态内的Sqoop可以将数据高效地导入导出至关系型数据库,如MySQL、Oracle等。此外,Hadoop的MapReduce或Spark可以执行批处理任务,将结果数据导出到云存储或数据湖中,以供进一步分析或共享。 **4. 数据可视...

    大数据课程-Hadoop集群程序设计与开发-11.综合项目-网站流量日志数据分析系统_lk_edit.pptx

    使用Apache Flume搭建日志采集系统是首要任务。Flume是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的工具。配置Flume Agent,如示例所示,可以监听并收集指定路径的日志文件。日志信息通常包含了...

    基于Hadoop豆瓣电影数据分析实验报告

    2. **数据导入**:将数据文件(如data.txt)复制到Hadoop环境,创建Hive数据库和表结构,字段包括电影ID、名称、投票人数、类型、产地、上映时间、时长、年代、评分和首映地点。使用LOAD DATA命令将数据加载到Hive表...

    第8章-大数据采集.pptx

    它的主要功能包括将数据从MySQL、Oracle等RDBMS导入到HDFS、HIVE、HBASE,以及将HDFS、HIVE、HBASE中的数据导出回关系数据库。Sqoop利用MapReduce的并行性和高容错性,确保高效的数据迁移。当前存在两个版本:Sqoop1...

    HADOOP+HBASE+HIVE整合工程和文档

    1. **数据采集与预处理**:首先,数据可能来自各种源头,如日志文件、传感器数据等,需要通过Flume、Sqoop等工具进行采集和预处理,然后存入HDFS。 2. **HBase配置与数据加载**:设置HBase的集群环境,包括Master、...

    大数据处理流程.pdf

    另一种是指使用工具如Flume将数据收集到特定位置的过程。Flume是一个高可用、高可靠和分布式的日志采集系统,用于收集、聚合和传输大量日志数据。 2. 数据预处理:这一阶段主要涉及对采集到的原始日志数据进行清洗...

    大数据简历,内含有数据项目的简历,大数据 简历

    2.采用Kstream框架对数据进行初步数据清洗与变换,使用Java API将数据导入HBase 3.使用Hive集成Hbase,对数据进行ETL,进一步清洗处理数据 4.协助使用Hive提取特征值,运用Spark ML构建模型 5.参与模型检验与随机...

    网易大数据-实战大作业:网站分析大数据框架调度-火影启源1

    - MR 用于日志解析,将数据加载到Hive的分区表中。任务要求设计逻辑确保日志数据按天存放,并防止其他日期的日志混入当天分区。 - 实验者需要考虑如何处理异常情况,保证数据完整性,同时避免全量扫描所有日志。 ...

    精品课程推荐 大数据与云计算教程课件 优质大数据课程 28.Flume(共33页).pptx

    Flume与Hadoop的结合解决了分布式日志处理的问题,提供了可靠的日志采集和传输机制。 【Flume特性】Flume具有分布式、可靠和高可用性,它的数据流由事件(Event)构成,每个事件携带日志数据和头信息。Source捕获事件...

    大数据项目之电商数仓(1用户行为数据采集).docx

    7. Sqoop:用于数据导入导出,将数据在Hadoop和传统数据库之间进行迁移。 8. Presto:分布式SQL查询引擎,提供快速的多数据源查询能力。 9. Azkaban:工作流调度工具,协调整个数据处理流程的执行。 10. Druid:实时...

    就业提升day03.docx

    - Source:数据采集器,连接数据源,如服务器日志文件,将数据导入Flume。 - Sink:数据接收器,负责将数据传送到下一级Agent或最终存储系统。 - Channel:数据缓冲区,存储从Source接收到的数据,等待传输到Sink。 ...

    云计算平台架构图.pdf

    半结构化数据和非结构化数据,如日志、文档、图片、小视频等,可以通过 Flume 或其他数据采集工具采集。采集的数据可以存储在 HDFS 云存储中或 HBase 分布式数据库中。HBase 是一个分布式的 NoSQL 数据库,适合存储...

Global site tag (gtag.js) - Google Analytics