上星期搭建了基于kafka+elasticsearch+elastic-job的新闻日志追踪系统,在本地运行成功后,老大试了下,发现elastic-job运行不稳定,定时任务并没有执行,而且采用kafka消息队列消费,不如在本地消费高效,于是再让我采用Elasticsearch+Logstash+Kibana来搭建新的日志收集系统。
早上看了一篇文章,写的很好,采用上面的教程基本安装成功,但是打开kibana界面时发现只加载了页面头部,下面的内容始终加载不出来,用F12看了下,发现报错了:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
后面google了一下,发现是版本问题,升级到新版本后就解决了。
把安装教程链接和问题链接发出来,供其他人用:
安装教程:http://www.w2bc.com/Article/85035
具体如下(安装教程是复制的,供学习用):
一步步来
1.下载软件
Elasticsearch: https://download.elasticsearch.org/...p/elasticsearch/2.0.0/elasticsearch-2.0.0.zip
Logstash: https://download.elastic.co/logstash/logstash/logstash-2.0.0.zip
Kibana: https://download.elastic.co/kibana/kibana/kibana-4.2.0-windows.zip
2.分别解压下载的软件,elasticsearch,logstash,kibana 可以放在一个统一文件夹下
3.下载JDK,安装java环境,把安装路径添加JAVA_HOME 的环境变量
4.配置logstash ,cd 到logstash文件夹的下bin目录
创建配置文件 logstash.conf ,内容如下,具体不讲解(从tcp 5544 端口接收,送到es服务器上,很简单的一个配置)
input {
tcp {
port => 5544
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
5.安装Elasticsearch 为windows服务
cd到Elasticsearch文件夹的bin目录下
cmd 运行 service install,会提示安装成功
cmd 运行 service manager 会弹出服务管理界面,可以设置自动启动,并启动之。
浏览器访问 127.0.0.1:9200 ,出现成功的json
6 安装logstash 为windows服务
cd到logstash文件夹下bin目录
创建一个run.bat
logstash.bat agent -f logstash.conf
下载nssm
https://nssm.cc/release/nssm-2.24.zip
解压拷贝nssm-2.24\win64目录下nssm.exe到logstash bin目录
cmd 运行 nssm install logstash
在弹出的界面设置 Path为run.bat,Details选项卡设置显示名,Dependencies选项卡设置依赖服务 elasticsearch-service-x64
最后点击install service 安装成功
7.安装kibana为windows服务
和之前一样拷贝nssm文件,安装服务的Path为kibana.bat,依赖项可以设置logstash,elasticsearch-service-x64
7.1 可选 安装个反向代理软件nginx,IIS的ARR模块把5601端口屏蔽下
8.在控制面板,启动之前安装的三个服务,接下来我们可以测试下
telnet 127.0.0.1 5544 随便输点东西,并回车
用浏览器打开http://localhost:5601/ 系统会提示创建Index,可以按时间创建Index。在Discover选项卡上你会看到你刚刚在telnet中敲的毫无意义的ASCII字符
很简单不是,生产环境还是交给运维部署个linux 版本吧
后面更复杂的配置和实践交给大家自行摸索了,呵呵
问题:Result window is too large, from + size must be less than or equal to: [10000] but was [2147483647]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.
解决方法:参考https://github.com/elastic/kibana/issues/5561,升级到最新版本
分享到:
相关推荐
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
总结起来,"elasticsearch+logstash+kibana+filebeat.7z (ELK 7.9.0)" 压缩包包含了一套完整的日志管理和分析工具链,适用于大数据环境,可以帮助企业实现高效的数据收集、处理、存储和可视化。通过使用这套工具,...
大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana
filebeat+logstash+ES集群+kibana实战.txt
elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档,运维监控
Logstash, OSSEC + Logstash + Elasticsearch + Kibana OSSEC使用 LOGSTASH - ELASTICSEARCH - KIBANA 管理 OSSEC警报管理现在是Magento安装脚本的一部分。 https://github.com/magenx/Magento-Automat
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后...
ELK(Elasticsearch+logstash+kibana).zip
ELK堆栈是由Elasticsearch、Logstash和Kibana三个开源工具组成的,它们通常联合使用来实现日志数据的收集、分析和可视化。Elasticsearch是一个基于Lucene构建的开源搜索引擎,具有分布式、多租户的能力,提供搜索...
将这三个组件一起部署,可以构建出一个完整的日志管理解决方案:Logstash 负责收集和预处理日志数据,Elasticsearch 存储和索引这些数据,而 Kibana 则提供直观的界面来展示和分析这些数据。这种组合被称为 "ELK ...
**ELK(Elasticsearch + Logstash + Kibana)** 是一个强大的日志管理和分析解决方案,广泛应用于大数据场景,特别是对于实时日志收集、处理、存储和可视化。这个组合提供了从日志生成到可视化的全套流程,帮助企业更...
es:elasticsearch 对数据进行存储,分类,搜索 logstash: 日志收集,filter(过滤),日志输出到(reids,kafka,es)中 kibana:日志展示(查询es中保存的数据)
ELK(Elasticsearch, Logstash, Kibana)是一个流行的开源日志分析和可视化解决方案,广泛用于收集、解析、存储和展示各种日志数据。这个压缩包包含了ELK堆栈的主要组件,版本为7.6.1,适用于Linux x86_64架构。 **...
在本文中,我们将深入探讨如何使用Spring Boot 2.7.3版本与Elasticsearch、Logstash和Kibana(通常称为ELK Stack)进行集成,以便高效地收集、存储和分析应用程序日志。ELK Stack是日志管理和监控的强大工具,其中...
ELK 套件是由Elasticsearch、Logstash和Kibana三个组件组成的开源日志分析平台。Elasticsearch是一个高性能、分布式、全文搜索引擎,用于存储和检索大量结构化和非结构化的数据。Logstash则是一个数据收集和处理引擎...
1,什么是Logstash 2,日志平台架构及Logstash技术要点 3,Kibana界面查询过滤操作 4,Kibana一些实例介绍 5,导航界面介绍及如何接入
对于日志来说,最常见的需求就是收集、存储、查询、展示,开源社区正好有相对应的开源项目:logstash(收集)、elasticsearch(存储+搜索)、kibana(展示),我们将这三个组合起来的技术称之为ELK,所以说ELK指的是...
ELK(Elasticsearch, Logstash, Kibana)栈是大数据日志分析领域的一款重要工具,用于收集、解析、存储、搜索和可视化大量数据。这个压缩包包含了ELK栈的关键组件,以及一个用于中文分词的IK插件,具体包括: 1. ...
### Logstash + Elasticsearch + Kibana (ELK) 日志系统安装部署教程 #### 一、环境准备 本文档将详细介绍如何在特定环境下部署一套基于Logstash + Elasticsearch + Kibana(简称ELK)的日志收集与分析系统。具体...
这个文档详细介绍了如何在CentOS 7环境下设置一套完整的监控解决方案,包括 Suricata 作为核心的威胁检测引擎,以及 ELK(Elasticsearch, Logstash, Kibana)堆栈用于数据收集、存储和可视化。 1. **Suricata 安装*...