`
liangyan9966
  • 浏览: 39861 次
  • 性别: Icon_minigender_2
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

通过Fluentd实时上传数据到DataHub实践

阅读更多
本文把我通过Fluentd,把数据上传到DataHub的配置过程记录下来,希望对大家在配置中能有帮助。

安装
前序准备

本文使用一台CentOS 6.8的ECS来做测试的,机器上已经有yum。用户测试的时候,需要有一台能连接上公网的Linux机器。
1. 安装依赖包
yum -y install gcc gcc-c++ openssl* readline* ncurses* zlib* libxml* libjpeg* libpng* libxslt* libtool*
2. 下载并安装包

wget http://aliyun-datahub.oss-cn-hangzhou.aliyuncs.com/tools/fluentd-with-datahub-0.12.23.tar.gz&file=fluentd-with-datahub-0.12.23.tar.gz
tar -xzvf fluentd-with-datahub-0.12.23.tar.gz
cd fluentd-with-datahub
这个wget的下载地址,是从文档里拿到的最新的安装包。以后版本可能会更新,用户也可以直接从文档上拿最新的安装包。

安装 目前安装包里只包含了ruby和插件的安装,没有提供fluentd的安装部分的脚本,这里可以做修改
vi install.sh
##修改里面的gem install --local fluent-plugin-datahub-0.0.1.gem,改成
gem install --local string-scrub-0.0.5.gem
gem install --local thread_safe-0.3.5.gem
gem install --local tzinfo-1.2.2.gem
gem install --local tzinfo-data-1.2016.4.gem
gem install --local sigdump-0.2.4.gem
gem install --local http_parser.rb-0.6.0.gem
gem install --local cool.io-1.2.3.gem
gem install --local yajl-ruby-1.2.1.gem
gem install --local msgpack-0.5.12.gem
gem install --local fluentd-0.12.23.gem
gem install --local fluent-plugin-datahub-0.0.2.gem
##注意以上版本号都是一键安装包里已经有的,以后如果版本更新,这里的版本号也从dependency_gem里看看当时提供的版本是多少

##wq保存退出
sudo sh install.sh
最终结果是
b4

配置
DataHub配置

在DataHub的控制台里创建一个Project,然后创建一个Topic(Topic对应到数据库是一个表的概念)
b1
因为只是测试,我这里就3个字段。

测试

全文连接http://click.aliyun.com/m/22571/
分享到:
评论

相关推荐

    Ruby-Fluentd收集来自各种数据源的事件然后写文件数据库或其他类型的存储

    Ruby-Fluentd是一款强大的日志管理和处理工具,它被设计用于收集来自各种不同数据源的事件,并将这些事件转发到各种目标存储,如文件、数据库或其他类型的数据存储系统。这个工具采用Ruby语言编写,因此在标签中被...

    Ansible-ansible-fluentd.zip

    2. **配置Fluentd**:通过playbooks,你可以定义Fluentd的输入插件(用于接收日志)、输出插件(用于发送日志到目标)以及其他配置选项,如过滤规则。 3. **管理Fluentd服务**:Ansible可以启动、停止或重启Fluentd...

    EFLK海量日志实时分析检索系统应用实践课件.zip

    EFLK海量日志实时分析检索系统是一种高效的数据处理框架,尤其适用于大数据...通过学习这套课程,学员可以掌握如何构建一个实时的日志分析系统,有效地管理和利用海量日志数据,从而提升运维效率,及时发现并解决问题。

    Fluentd.tar

    Fluentd.tar

    fluentd-v1.8-1.tar

    fluentd镜像,版本1.8.1,arm版本,需要的请使用,fluentd是基于fluent协议实现的

    基于Kubernetes元数据的Fluentd守护进程集的自动配置_Go_Ruby_下载.zip

    标题中的“基于Kubernetes元数据的Fluentd守护进程集的自动配置”指的是在Kubernetes集群环境中,使用Fluentd作为日志收集器,并通过Kubernetes的元数据(metadata)来自动化配置Fluentd的设置。Fluentd是一个强大的...

    fluentd+filebeat

    fluentd+filebeat技术资料分享,欢迎大家交流,指正错误

    sample-fluentd-on-mesos-docker, 在 Mesos Docker 马拉松上,Fluentd.zip

    sample-fluentd-on-mesos-docker, 在 Mesos Docker 马拉松上,Fluentd Mesos Docker 马拉松上的 Fluentd这是一个在 mesos,Docker 和马拉松上运行的fluentd示例。概述 PrerequireVagrant 1.4.1 ( 我只检查了这个版本...

    藏经阁-海尔实时计算平台技术选型与实践.pdf

    消息队列可以将业务系统的数据传输到实时计算平台中,提高业务系统的实时性和响应速度。 海尔实时计算平台技术选型与实践报告涵盖了实时计算平台的背景、开源技术选型、实时数据采集技术选型、数据可视化等方面的...

    Elasticsearch+Fluentd+Kafka搭建日志系统

    EFK架构的基本流程是:数据由Cadvisor生成并发送到Kafka,接着Fluentd从Kafka消费这些数据,并将其转发到Elasticsearch进行存储和检索。每个服务都可以根据需要进行水平扩展,以适应不同的日志流量。 **数据采集...

    fluentd日志收集组件yaml文件Daemonset资源清单

    原文链接:https://blog.csdn.net/m0_37814112/article/details/120762517 说明:测试资源,包含fluentd-v3.1.0.tar.gz、fluentd-v3.2.0.tar.gz镜像和ds-fluentd.yaml文件

    轻松上手Fluentd,结合 Rainbond 插件市场,日志收集更快捷.doc

    【Fluentd与Rainbond插件市场的日志收集实践】...通过这种方式,Fluentd可以高效地从Nginx日志中收集数据,并将其推送到Elasticsearch,然后在Kibana中进行实时监控和分析,为运维人员提供了强大的日志管理和分析能力。

    fluentd_elastic_kibana-tar镜像安装包

    fluentd_elastic_kibana安装k8s所需的安装包,里面分别包括google_containers-elasticsearch_1.8.tar.gz、google_containers-kibana_1.3.tar.gz、kubernetes-fluentd-elasticsearch.tar.gz,详见安装包,免去docker ...

    fluentd-ui:Web页面的Fluentd

    流利的 fluentd-ui是基于浏览器的和管理器,支持以下操作。 安装,卸载和升级Fluentd插件 启动/停止/重启流畅的流程 配置Fluentd设置,例如配置文件内容,PID文件路径等 ...通过网络浏览器访问 。 默认帐户为use

    支持minio存储fluentd的docker镜像build

    build支持minio存储的fluentd docker镜像,并实现收集日志后按照tag的进行分文件夹存储,已验证可正常使用

    Kubernetes下日志实时采集存储与计算实践.pdf

    此外,日志的实时性需求也越来越强,实时数据对于决策的重要性不言而喻,能够即时反应的告警处理和通过AIOps进行问题预防、事件预测的能力是现代运维所必须的。 日志集中式存储作为Kubernetes日志处理的一个关键...

    docker-fluentd:Fluentd 的 Docker 镜像

    Docker-Fluentd概括Docker Hub 中的仓库名称: 该存储库包含 Dockerized (使用td-agent :Fluentd 的稳定发行版),通过自动构建机制发布到公共 。配置此 docker 映像包含以下软件堆栈: 操作系统:Debian jessie...

    ansible-fluentd:在 Ubuntu 上通过 Ansible 安装和配置 fluentd

    ansible 流利的 ... 我们使用尾部文件插件从远程节点移动数据,因为它最能抵御故障。 如果 fluentd 服务在节点或聚合器上崩溃,它不会中断任何事情。 您可以像这样在节点上设置 fluentd fluentd_matche

    fluent-plugin-mongo:Fluentd的MongoDB输入和输出插件

    Fluentd的核心设计目标是提供一个统一的数据层,它能够将各种不同来源的日志数据集中在一起,并将其转发到不同的目的地,如文件、数据库、云服务等。Fluentd通过插件系统实现了这一目标,用户可以根据需要安装和配置...

Global site tag (gtag.js) - Google Analytics