我封装的阿里ELK-DOCKER-IMAGE
registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7
启动后的目录位置说明
/opt/logstash
/opt/kibana
/user/share/ElasticSearch
启动时候需要的端口映射[5601、9200、5000]
docker run -dit -p 5601:5601 -p 9200:9200 -p 5000:5000 registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7
分析需求结构,
理想的效果如图:
右边为[ELK分析展示服务器]
需要安装Redis用于存储各种日志队列。
需要安装logstash用于搜集本地Redis中存储的日志数据。
需要安装Elastic 分析 logstash 搜集到的数据。
如果你也是容器环境,建议宿主安装 Redis。
elk环境已在上述镜像中提供。
关于[ELK分析展示服务器] 中的 logstash 配置。
[logstash.cnf]
input {
redis {
host => "192.168.**.1"
port => 6379
data_type => "list"
key => "logstash"
}
}
output {
elasticsearch {hosts => "localhost" }
stdout{
codec=>rubydebug
}
}
以后台运行方式启动即可
./bin/logstash -f ./logstash.cnf &
kibana暂不需要配置。
elastic的配置中将networkhost 放开,如下:
network.host: 0.0.0.0
Elastic的启动方法:
service elasticsearch start
如果使用另外的方式启动,可能出现 '请不要用root启动'、bootstrap找不到等问题。
另外,如果出现内存问题,请调整分析引擎的jvm,将其适量降低。
ELA 测试 URL:
http://114.215.200.46:9200/
KIBANA 测试 URL:
http://114.215.200.46:5601/
另: ELA 需要安装插件。
ELA根目录内
./bin/plugin install mobz/elasticsearch-head
以上是[ELK分析展示服务器]的配置。
在[生产/测试] 服务器中,
也安装一个 Logstash 用于搜集 各容器项目中实际产生的业务日志、以及Nginx的访问日志。
[生产、测试服务器的Logstash的配置]
input {
file {
path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog", "/var/log/denyhosts", "/var/log/dmesg", "/var/log/faillog", "/var/log/aptitude" ]
start_position => beginning
}
file {
type => "nginx-access"
path => "/var/log/nginx/access.log"
}
}
output {
redis{
host =>"192.168.124.128"
data_type => "list"
key => "logstash"
}
}
启动方式同上。
配置完成后还要考虑过滤和格式化。
下次再写。
推荐几篇文章帮助消化:
http://www.linuxidc.com/Linux/2016-06/132618.htm
http://www.360doc.com/content/17/0822/16/46666273_681266046.shtml
http://www.cnblogs.com/saintaxl/p/3946667.html
- 大小: 18.7 KB
分享到:
相关推荐
elk安装环境搭建(集群)
这个“elk环境搭建文档.zip”压缩包显然提供了关于如何在环境中部署和配置这些组件的详细步骤。让我们深入探讨每个组件以及如何进行集群搭建。 **Elasticsearch** Elasticsearch是一个分布式、RESTful风格的搜索和...
### ELK 5.5 环境搭建与性能调优 #### 一、系统拓扑及注意事项 在搭建实时日志分析系统 ELK (ElasticSearch + Logstash + Kibana) 5.5 版本的过程中,需要注意以下几个关键点: 1. **Java 环境**:ELK 的三个组件...
总结:通过上述步骤详细说明了在Windows环境下搭建ELK堆栈的整个流程,包括了各个组件的安装、配置、启动和验证方法。ELK堆栈的搭建和配置较为复杂,需要按照正确的顺序和方法进行,以确保整个日志系统的正常运行。...
elasticsearch+logstash+kibana在linux上的部署过程及配置
### ELK完整配置指南 #### 引言 随着云计算技术的发展和互联网应用的普及,海量的日志数据成为了系统运维人员日常工作中不可或缺的一部分。这些数据不仅能够帮助技术人员追踪系统的运行状态,还能够在出现故障时...
本指南将详细阐述如何在Virtualbox或Vagrant环境中安装和配置ELK栈。 ### 1. Virtualbox/Vagrant 安装 **1.1. Virtualbox 安装** Virtualbox是一款免费的开源虚拟化软件,它允许你在一台主机上运行多个操作系统。...
本文档详细介绍了如何在Windows环境下搭建ELK环境,并提供了相关的资源下载链接。 首先,为了运行ELK Stack,你需要安装Java Development Kit (JDK),确保版本至少为1.8。安装完成后,配置环境变量以便系统能找到...
为确保课程的顺利进行,需要搭建一个完整的 Oracle 12cR2 环境,包括 Linux 操作系统、 Oracle 12cR2 数据库软件和相关工具。 Linux 系统环境搭建 Linux 系统环境搭建是 Oracle 12cR2 环境搭建的基础部分。在本...
通过学习ELK搭建,目标是掌握如何设置环境,安装和配置这三个组件,实现日志的自动化收集、分析和可视化展示,同时建立有效的日志监控机制。 **2. 环境准备** 通常需要至少两台虚拟机(如CentOS或RedHat),用于...
这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案,包括 Suricata 作为核心的威胁检测引擎,以及 ELK(Elasticsearch, Logstash, Kibana)堆栈用于数据收集、存储和可视化。 1. **Suricata 安装*...
- 如果尝试编译一个Java源文件(如`HelloWorld.java`)时出现编译错误,通常是因为没有正确配置`Path`环境变量导致无法识别`javac`命令。 - 解决方法:确保`Path`环境变量中包含了`C:\jdk_1.6.1\bin`这一项。 2....
ELK日志分析系统搭建与配置 ELK 日志分析系统是由 ElasticSearch、Logstash 和 Kibana 三个开源工具组成的,旨在解决日志集中化管理、信息查找、服务诊断和数据分析等问题。本文将指导用户搭建自己的 ELK 日志分析...
通过以上步骤,我们可以成功搭建起一个稳定的ELK Stack环境,并能够有效地收集、存储和分析Nginx的日志数据。这不仅有助于快速定位问题,还能为企业提供宝贵的数据洞察,进而改善产品和服务质量。
在Centos7.6环境下搭建ELK日志分析系统,首先确保系统环境满足以下软件版本: - Elasticsearch: 7.9.3 - Logstash: 7.9.3 - Kibana: 7.9.3 - Redis: 6.0.6 1. **Elasticsearch安装** - 下载并解压Elasticsearch至 ...
在Kibana中创建索引模式,配置可视化图表,以验证数据的完整性和可用性。同时,利用Marvel监控Elasticsearch的性能和健康状态。 在实际应用中,可能还需要考虑其他因素,如日志输入源的配置、过滤器的定制、输出到...
下面将详细介绍 ELK 完整的日志收集系统,包括安装、配置和集成。 一、ElasticSearch安装和配置 ElasticSearch 是一个基于 Lucene 库的搜索引擎,提供了强大的搜索和索引功能。以下是 ElasticSearch 的安装和配置...