`

一次完整的ELK环境搭建心得

 
阅读更多
我封装的阿里ELK-DOCKER-IMAGE

registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7


启动后的目录位置说明

/opt/logstash
/opt/kibana
/user/share/ElasticSearch


启动时候需要的端口映射[5601、9200、5000]

docker run -dit -p 5601:5601 -p 9200:9200 -p 5000:5000 registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7




分析需求结构,
理想的效果如图:





右边为[ELK分析展示服务器]

需要安装Redis用于存储各种日志队列。
需要安装logstash用于搜集本地Redis中存储的日志数据。
需要安装Elastic 分析 logstash 搜集到的数据。

如果你也是容器环境,建议宿主安装 Redis。

elk环境已在上述镜像中提供。


关于[ELK分析展示服务器] 中的 logstash 配置。


[logstash.cnf]



input {
    redis {
        host => "192.168.**.1"
        port => 6379
        data_type => "list"
        key => "logstash"
    }
}


output {
      elasticsearch {hosts => "localhost" }
      stdout{
        codec=>rubydebug
      }
}



以后台运行方式启动即可
./bin/logstash -f ./logstash.cnf &




kibana暂不需要配置。



elastic的配置中将networkhost 放开,如下:

network.host: 0.0.0.0




Elastic的启动方法:

service elasticsearch start

如果使用另外的方式启动,可能出现 '请不要用root启动'、bootstrap找不到等问题。

另外,如果出现内存问题,请调整分析引擎的jvm,将其适量降低。


ELA 测试 URL:
http://114.215.200.46:9200/
KIBANA 测试 URL:
http://114.215.200.46:5601/

另: ELA 需要安装插件。
ELA根目录内
./bin/plugin install mobz/elasticsearch-head



以上是[ELK分析展示服务器]的配置。




在[生产/测试] 服务器中,
也安装一个 Logstash 用于搜集 各容器项目中实际产生的业务日志、以及Nginx的访问日志。

[生产、测试服务器的Logstash的配置]

input {
  file {
    path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog", "/var/log/denyhosts", "/var/log/dmesg", "/var/log/faillog", "/var/log/aptitude" ]
    start_position => beginning
  }
  file {
    type => "nginx-access"
    path => "/var/log/nginx/access.log"
  }
}

output {
  redis{
    host =>"192.168.124.128"
    data_type => "list"
    key => "logstash"
  }
}


启动方式同上。




配置完成后还要考虑过滤和格式化。

下次再写。





推荐几篇文章帮助消化:
http://www.linuxidc.com/Linux/2016-06/132618.htm
http://www.360doc.com/content/17/0822/16/46666273_681266046.shtml
http://www.cnblogs.com/saintaxl/p/3946667.html
  • 大小: 18.7 KB
分享到:
评论

相关推荐

    elk环境搭建.rar

    资源为elk日志分析系统的搭建,其中包括Elasticsearch、Logstash、Kibana三种文件的安装包,也有描述性的文档,同时文档中也增加了关于kafka的使用。 资源在手,天下我有</p>

    elk安装环境搭建(集群)

    elk安装环境搭建(集群)

    ELK集成环境搭建手册

    ELK 集成环境搭建手册是一份详细的指导手册,旨在帮助用户快速搭建 ELK 集成环境。ELK 是一个流行的日志采集和分析平台,由 Elasticsearch、Logstash 和 Kibana 三个组件组成。本手册将指导用户从头开始搭建 ELK ...

    JSP环境配置心得JSP环境配置心得

    《JSP环境配置心得》 在Java Web开发中,JSP(Java Server Pages)是一种用于创建动态网页的技术,而Tomcat则是一个广泛使用的Java应用服务器,特别适合部署JSP和Servlet应用。对于初学者来说,配置JSP环境可能会...

    ELK环境搭建.docx

    elasticsearch+logstash+kibana在linux上的部署过程及配置

    elk完整配置指南

    ### ELK完整配置指南 #### 引言 随着云计算技术的发展和互联网应用的普及,海量的日志数据成为了系统运维人员日常工作中不可或缺的一部分。这些数据不仅能够帮助技术人员追踪系统的运行状态,还能够在出现故障时...

    基于windows环境搭建elk日志分析平台

    通过以上步骤,可以在Windows环境下成功搭建起一套完整的ELK日志分析平台。虽然相比于Linux环境而言,Windows环境下的服务管理和配置可能会稍微复杂一些,但借助于nssm等工具的帮助,整个搭建过程仍然是可行且相对...

    ELK详细搭建及使用笔记word文档

    本文档详细介绍了如何在Windows环境下搭建ELK环境,并提供了相关的资源下载链接。 首先,为了运行ELK Stack,你需要安装Java Development Kit (JDK),确保版本至少为1.8。安装完成后,配置环境变量以便系统能找到...

    ELK安装以及环境配置

    ### ELK安装与环境配置详解 #### 背景与需求 随着信息技术的发展,系统规模逐渐扩大,传统的日志管理方式已经无法满足高效运维的需求。面对数百甚至上千台服务器的日志,采用逐一登录的方式查阅变得既低效又繁琐。...

    ELK集群企业搭建.txt

    ELK集群搭建

    ELK搭建文档

    通过以上步骤,我们可以在Linux环境下成功搭建一套完整的ELK栈,用于处理各类日志数据。该系统不仅支持实时的日志分析,还能实现日志数据的备份与恢复,为企业级的日志管理系统提供了强大的支持。此外,随着Elastic...

    Flex环境搭建心得.pdf

    为了搭建一个完整的Flex开发环境,我们需要以下几项关键组件: 1. **JDK**: Sun JDK 1.6 版本。这是运行Flex应用程序的基础环境之一。 2. **Eclipse + FlexBuilder 插件**: Eclipse IDE 配合FlexBuilder插件是开发...

    python 安装与开发环境搭建的步骤和心得体会.docx

    搭建 Python 开发环境时,需要考虑以下几个方面: ### 安装 Python 编译器 可以使用 CPython,它是 Python 官方实现的二进制代码,也可以 通过安装 CPython 的编译器来生成解释器。可以使用以下命令安装 CPython:

    suricata+elk+kibana+logstash安装手册.docx

    这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案,包括 Suricata 作为核心的威胁检测引擎,以及 ELK(Elasticsearch, Logstash, Kibana)堆栈用于数据收集、存储和可视化。 1. **Suricata 安装*...

    ELK Stack搭建及使用.docx

    通过以上步骤,我们可以成功搭建起一个稳定的ELK Stack环境,并能够有效地收集、存储和分析Nginx的日志数据。这不仅有助于快速定位问题,还能为企业提供宝贵的数据洞察,进而改善产品和服务质量。

    NCC环境搭建与配置.pdf

    ### NCC环境搭建与配置知识点解析 #### 1. NCC环境搭建概述 在进行NCC环境搭建之前,有必要了解本课程的主要目标和课程对象。本课程旨在指导分支机构实施/开发序列中级(含)以上开发顾问,学习如何建立和配置开发...

    ELK环境部署测试1

    在Kibana中创建索引模式,配置可视化图表,以验证数据的完整性和可用性。同时,利用Marvel监控Elasticsearch的性能和健康状态。 在实际应用中,可能还需要考虑其他因素,如日志输入源的配置、过滤器的定制、输出到...

    elk(windows下配置)

    在Windows环境下配置ELK,可以帮助我们有效地收集、处理、存储和展示系统或应用的日志数据。 **Elasticsearch**: 是一个分布式、RESTful风格的搜索和数据分析引擎,用于全文检索、结构化检索以及分析海量数据。它...

    elk完整的日志收集

    下面将详细介绍 ELK 完整的日志收集系统,包括安装、配置和集成。 一、ElasticSearch安装和配置 ElasticSearch 是一个基于 Lucene 库的搜索引擎,提供了强大的搜索和索引功能。以下是 ElasticSearch 的安装和配置...

Global site tag (gtag.js) - Google Analytics