转载请声明出处:http://blackwing.iteye.com/blog/2152319
试用了fluentd,挺方便易用,支持直接到hdfs,hbase,mangoDB等,可以跟已有业务结合。
安装fluentd非常简单,官方教材地址:
http://docs.fluentd.org/categories/installation
以下是针对ubuntu 12.04 LTS进行说明:
1.先修改系统环境,例如增加open files数目、修改网络参数等:
http://docs.fluentd.org/articles/before-install
2.根据自己系统版本,直接执行官方写好的一键安装脚本:
curl -L http://toolbelt.treasuredata.com/sh/install-ubuntu-precise-td-agent2.sh | sh
安装好后,个文件路径为:
1)配置文件:/etc/td-agent/td-agent.conf
2)起停脚本:/etc/init.d/td-agent start|stop|restart|status
3)默认log路径:/var/log/td-agent/td-agent.log
应用场景是:收集其他部门某应用的log,发回到本部门服务器,并入库到hdfs。所以需要在某部门服务器上,安装fluentd用于把日志forward到本地服务。
借用官方图解:
官方的配置可以参考高可用部分的配置:
http://docs.fluentd.org/articles/high-availability
大概配置如下:
forward端的配置:
<source>
type forward
port 24224
</source>
# Log Forwarding
<match testforward.**>
type forward
host 172.19.99.176
flush_interval 10s
</match>
聚集端的配置:
<source>
type forward
port 24224
</source>
<match testforward.*>
type webhdfs
host namenode
port 50070
path /log/%Y%m%d_%H/access.log.${hostname}
flush_interval 10s
</match>
但官方没有详细说明,导致配置后fluentd不能启动,其实原来的td-agent.conf配置文件已经有以下配置:
<source>
type forward
</source>
所以,会有两个forward的source,导致fluentd启动失败,报错说端口24224已经在使用,解决办法是删掉以上默认配置就行。
现在可以测试curl一条信息到forward机器,它就会直接把细心转发到聚集机器,并且自动入库到hdfs。
另外,关于其他日志收集工具,请看董西成的blog:
http://dongxicheng.org/search-engine/log-systems/
分享到:
相关推荐
发送日志到 。 该插件完全受启发 引擎盖下使用了官方的模块。 什么是流利的? 是用于统一日志记录层的开源数据收集器。 Fluentd允许您统一数据收集和使用,以更好地使用和理解数据。 安装 如果要使用pino-fluentd ...
Docker-Fluentd概括Docker Hub 中的仓库名称: 该存储库包含 Dockerized (使用td-agent :Fluentd 的稳定发行版),通过自动构建机制发布到公共 。配置此 docker 映像包含以下软件堆栈: 操作系统:Debian jessie...
流利的:开源日志收集器特拉维斯CI: 适用于Arm64的Drone CI: 从各种数据源收集事件并将其写入文件,RDBMS,NoSQL,IaaS,SaaS,Hadoop等。 Fluentd可帮助您统一日志记录基础结构(了解有关更多信息)。 一个事件...
Fluentd是一个强大的开源日志收集工具,能够从各种服务和数据源收集日志,进行过滤、转换,并将其分发到多个存储和处理系统,如Elasticsearch或Minio。其特点是支持广泛的插件、数据缓存机制以及低资源占用,同时...
我们不会删除此存储库,但我们强烈建议您改用替代品描述安装和管理日志转发器和聚合器。要求Ansible> = 2.7(它可能在以前的版本中可用,但我们不能保证)角色变量所有可以覆盖的变量都存储在文件以及下表中。 名称...
Fluentd是一个开源数据收集器,它使您可以统一数据收集和使用以更好地使用和理解数据。 TL; DR $ docker run --name fluentd bitnami/fluentd:latest 您可以在“部分中找到可用的配置选项。为什么要使用Bitnami ...
https://blog.csdn.net/weixin_46560589/article/details/128727196 文章【Kubernetes 企业项目实战】04、基于 K8s 构建 EFK+logstash+kafka 日志平台(下)安装收集日志组件 Fluentd 所需镜像文件!
logging agent会挂载宿主机上的容器日志目录,并将日志转发到后端存储系统,如使用Fluentd代理将日志传输到ElasticSearch。这种方案便于管理和扩展,因为它只需要在每个节点部署一个日志代理,且对应用无侵入性。 2...
from flask_fluentd import Fluentd app = Flask(__name__) events = Fluentd(app) @app.before_request def before_request(): g.events = events # ... @app.route('/') def index(): g.events.event(('test', {...
它在每个节点本地运行以传输日志,并在聚合器机器集群上运行以分发日志以进行处理和存档。 我们的设置基本上看起来像/var/log/some.log -> local fluentd -> central fluentd -> various data services 我们使用...
在这个项目中,server端负责日志的收集工作,可能使用了诸如Fluentd、Logstash或 Beats等开源工具,它们能够高效地从各种源获取日志数据。 2. **服务器端实现**: - 服务器端通常通过监听指定的日志文件或接收来自...
Yii2 Fluentd Yii2 Fluentd添加了Fluentd的日志目标。 对于Fluentd HTTP输入插件,捆绑的客户端实现是一个相对较快的即弃型客户端。 但是,您可以扩展FluentClientInterface来实现任何适合您需要的客户端实现。 有关...
Fluentd是一个强大的开源数据收集器,它允许我们从各种来源统一收集日志,然后转发到不同的目的地,如Elasticsearch、Logstash或云存储服务。 Fluentd守护进程集通常是指在每个Kubernetes节点上运行的Fluentd实例,...
2. **自动化收集**:通过配置日志管理工具(如Logstash、Fluentd等)定期抓取和汇总日志,便于集中管理和分析。 3. **云服务集成**:很多云服务商提供了日志管理服务,例如AWS CloudWatch Logs、Google Stackdriver ...
Ansible Fluentd 剧本此角色在 Debian 服务器上安装和配置 Fluentd v1.x。要求此角色需要 Ansible 1.4 或更高版本,并且元数据文件中列出了平台要求。角色变量可以传递给该角色的变量及其简要说明如下。 # fluentd ...
它的主要功能包括从各种来源收集日志数据、转换数据格式,以及将数据转发到不同的目的地,如 Elasticsearch(用于搜索和分析)、Kafka(消息队列)或自定义后端。Fluentd以其高效和可扩展性著称,广泛应用于大型...
原文链接:https://blog.csdn.net/m0_37814112/article/details/120762517 说明:测试资源,包含fluentd-v3.1.0.tar.gz、fluentd-v3.2.0.tar.gz镜像和ds-fluentd.yaml文件
它能从各种来源收集日志,然后转发到各种目的地,如Elasticsearch、Logstash、Kafka等。Fluentd的灵活性和强大的过滤规则使其成为Rancher日志解决方案的理想搭档。 "rancher-fluentd-conf"是一个专为Rancher设计的...
这是最常见的解决方案,通过在每个节点上以 DaemonSet 形式运行 logging agent(如 Fluentd),将宿主机上的容器日志目录挂载并转发到后端存储(如 Elasticsearch)进行持久化。此方法不会直接影响应用和 Pod,但...