本文把我通过Fluentd,把数据上传到DataHub的配置过程记录下来,希望对大家在配置中能有帮助。
安装
前序准备
本文使用一台CentOS 6.8的ECS来做测试的,机器上已经有yum。用户测试的时候,需要有一台能连接上公网的Linux机器。
1. 安装依赖包
yum -y install gcc gcc-c++ openssl* readline* ncurses* zlib* libxml* libjpeg* libpng* libxslt* libtool*
2. 下载并安装包
wget http://aliyun-datahub.oss-cn-hangzhou.aliyuncs.com/tools/fluentd-with-datahub-0.12.23.tar.gz&file=fluentd-with-datahub-0.12.23.tar.gz
tar -xzvf fluentd-with-datahub-0.12.23.tar.gz
cd fluentd-with-datahub
这个wget的下载地址,是从文档里拿到的最新的安装包。以后版本可能会更新,用户也可以直接从文档上拿最新的安装包。
安装 目前安装包里只包含了ruby和插件的安装,没有提供fluentd的安装部分的脚本,这里可以做修改
vi install.sh
##修改里面的gem install --local fluent-plugin-datahub-0.0.1.gem,改成
gem install --local string-scrub-0.0.5.gem
gem install --local thread_safe-0.3.5.gem
gem install --local tzinfo-1.2.2.gem
gem install --local tzinfo-data-1.2016.4.gem
gem install --local sigdump-0.2.4.gem
gem install --local http_parser.rb-0.6.0.gem
gem install --local cool.io-1.2.3.gem
gem install --local yajl-ruby-1.2.1.gem
gem install --local msgpack-0.5.12.gem
gem install --local fluentd-0.12.23.gem
gem install --local fluent-plugin-datahub-0.0.2.gem
##注意以上版本号都是一键安装包里已经有的,以后如果版本更新,这里的版本号也从dependency_gem里看看当时提供的版本是多少
##wq保存退出
sudo sh install.sh
最终结果是
b4
配置
DataHub配置
在DataHub的控制台里创建一个Project,然后创建一个Topic(Topic对应到数据库是一个表的概念)
b1
因为只是测试,我这里就3个字段。
测试
全文连接
http://click.aliyun.com/m/22571/
分享到:
相关推荐
Ruby-Fluentd是一款强大的日志管理和处理工具,它被设计用于收集来自各种不同数据源的事件,并将这些事件转发到各种目标存储,如文件、数据库或其他类型的数据存储系统。这个工具采用Ruby语言编写,因此在标签中被...
2. **配置Fluentd**:通过playbooks,你可以定义Fluentd的输入插件(用于接收日志)、输出插件(用于发送日志到目标)以及其他配置选项,如过滤规则。 3. **管理Fluentd服务**:Ansible可以启动、停止或重启Fluentd...
EFLK海量日志实时分析检索系统是一种高效的数据处理框架,尤其适用于大数据...通过学习这套课程,学员可以掌握如何构建一个实时的日志分析系统,有效地管理和利用海量日志数据,从而提升运维效率,及时发现并解决问题。
Fluentd.tar
fluentd镜像,版本1.8.1,arm版本,需要的请使用,fluentd是基于fluent协议实现的
标题中的“基于Kubernetes元数据的Fluentd守护进程集的自动配置”指的是在Kubernetes集群环境中,使用Fluentd作为日志收集器,并通过Kubernetes的元数据(metadata)来自动化配置Fluentd的设置。Fluentd是一个强大的...
fluentd+filebeat技术资料分享,欢迎大家交流,指正错误
sample-fluentd-on-mesos-docker, 在 Mesos Docker 马拉松上,Fluentd Mesos Docker 马拉松上的 Fluentd这是一个在 mesos,Docker 和马拉松上运行的fluentd示例。概述 PrerequireVagrant 1.4.1 ( 我只检查了这个版本...
消息队列可以将业务系统的数据传输到实时计算平台中,提高业务系统的实时性和响应速度。 海尔实时计算平台技术选型与实践报告涵盖了实时计算平台的背景、开源技术选型、实时数据采集技术选型、数据可视化等方面的...
EFK架构的基本流程是:数据由Cadvisor生成并发送到Kafka,接着Fluentd从Kafka消费这些数据,并将其转发到Elasticsearch进行存储和检索。每个服务都可以根据需要进行水平扩展,以适应不同的日志流量。 **数据采集...
原文链接:https://blog.csdn.net/m0_37814112/article/details/120762517 说明:测试资源,包含fluentd-v3.1.0.tar.gz、fluentd-v3.2.0.tar.gz镜像和ds-fluentd.yaml文件
【Fluentd与Rainbond插件市场的日志收集实践】...通过这种方式,Fluentd可以高效地从Nginx日志中收集数据,并将其推送到Elasticsearch,然后在Kibana中进行实时监控和分析,为运维人员提供了强大的日志管理和分析能力。
fluentd_elastic_kibana安装k8s所需的安装包,里面分别包括google_containers-elasticsearch_1.8.tar.gz、google_containers-kibana_1.3.tar.gz、kubernetes-fluentd-elasticsearch.tar.gz,详见安装包,免去docker ...
流利的 fluentd-ui是基于浏览器的和管理器,支持以下操作。 安装,卸载和升级Fluentd插件 启动/停止/重启流畅的流程 配置Fluentd设置,例如配置文件内容,PID文件路径等 ...通过网络浏览器访问 。 默认帐户为use
build支持minio存储的fluentd docker镜像,并实现收集日志后按照tag的进行分文件夹存储,已验证可正常使用
此外,日志的实时性需求也越来越强,实时数据对于决策的重要性不言而喻,能够即时反应的告警处理和通过AIOps进行问题预防、事件预测的能力是现代运维所必须的。 日志集中式存储作为Kubernetes日志处理的一个关键...
Docker-Fluentd概括Docker Hub 中的仓库名称: 该存储库包含 Dockerized (使用td-agent :Fluentd 的稳定发行版),通过自动构建机制发布到公共 。配置此 docker 映像包含以下软件堆栈: 操作系统:Debian jessie...
ansible 流利的 ... 我们使用尾部文件插件从远程节点移动数据,因为它最能抵御故障。 如果 fluentd 服务在节点或聚合器上崩溃,它不会中断任何事情。 您可以像这样在节点上设置 fluentd fluentd_matche
Fluentd的核心设计目标是提供一个统一的数据层,它能够将各种不同来源的日志数据集中在一起,并将其转发到不同的目的地,如文件、数据库、云服务等。Fluentd通过插件系统实现了这一目标,用户可以根据需要安装和配置...