- 浏览: 358379 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (352)
- JAVAEE (155)
- Gwt (27)
- Android (6)
- TaoBao (0)
- Xiaonei (0)
- Ubuntu (1)
- javafx (1)
- flex (0)
- GAE (2)
- Arcgis (1)
- Extjs (5)
- Dwr (1)
- ExtjsDwrSpring整合 (2)
- ophone (0)
- php (1)
- python (8)
- squid for windows download (1)
- Java (3)
- oracle (1)
- jquery (1)
- 淘宝 (1)
- 人生 (0)
- java项目运行时增加 (1)
- xfire (1)
- jquery mobile (1)
- ES (3)
- logstash (2)
- 8080端口占用 (1)
- 通达信 (1)
- mysql启动故障 (1)
- 微信小程序 (3)
- centos (1)
- redis (1)
- springcloud (1)
- python3.9 (1)
- python2.7 (1)
- ta-lib (0)
- ta-lib,TALIB (1)
- 安装TALIB,CENTOS (1)
- 终端关闭后 (1)
- vi (1)
- 命令行 (1)
- tomcat (2)
- nginx (3)
- linux (2)
- jdk (1)
- 开发环境 (1)
- nodejs (1)
- vs code (1)
- node js 全部版本 (1)
- JAVASCRIPT (1)
- pychar (1)
- mysql (3)
- win10 (1)
- elasticsearch plugin (1)
- vue (10)
- editplus (0)
- clickhouse (6)
- zabbix (1)
- quicktracking (1)
- quiktraking (1)
- talib (1)
- docker (1)
- excel (1)
- bat (1)
- 大模型 (1)
最新评论
-
ian_jiang:
不知道 你说了个 什么?
GWT下如何获取到javaee servlet下会话信息 -
心愿:
index.jsp应该建立在哪个目录下
dwr3.0的HELLOWORLD创建过程 -
349446658:
classpath:path是老的指定配置文件路径的方式。升级 ...
升级2 -
349446658:
新版本不是在type中指定first,而是指定1来表示跳到第一 ...
分页错误2 -
349446658:
这是因为后面的版本规范了指定配置文件路径的方式,必须指定为如下 ...
升级错误
有了操作logstash的单机经验之后,对其有了大致了解.不满足.
然后.
如何直接用命令行的方式.也是手动输入的方式.将数据写到ES里面去.
将语法稍微变通一下即可。 logstash -e 'inpu
t { stdin{} } output { elasticsearch {} }'
具体如下:
C:\Users\Administrator>D:\es\logstash-5.4.1\logstash-5.4.1\bin\logstash -e 'inpu
t { stdin{} } output { elasticsearch {} }'
Sending Logstash's logs to D:/es/logstash-5.4.1/logstash-5.4.1/logs which is now
configured via log4j2.properties
[2018-02-04T05:17:38,403][INFO ][logstash.outputs.elasticsearch] Elasticsearch p
ool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
[2018-02-04T05:17:38,419][INFO ][logstash.outputs.elasticsearch] Running health
check to see if an Elasticsearch connection is working {:healthcheck_url=>http:/
/127.0.0.1:9200/, :path=>"/"}
[2018-02-04T05:17:38,606][WARN ][logstash.outputs.elasticsearch] Restored connec
tion to ES instance {:url=>#<URI::HTTP:0x3afb9a53 URL:http://127.0.0.1:9200/>}
[2018-02-04T05:17:38,606][INFO ][logstash.outputs.elasticsearch] Using mapping t
emplate from {:path=>nil}
[2018-02-04T05:17:38,669][INFO ][logstash.outputs.elasticsearch] Attempting to i
nstall template {:manage_template=>{"template"=>"logstash-*", "version"=>50001,
"settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=
>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"pa
th_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text"
, "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"str
ing", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=
>"keyword"}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"
=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"d
ynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_po
int"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}
}}}}}
[2018-02-04T05:17:38,684][INFO ][logstash.outputs.elasticsearch] New Elasticsear
ch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<URI::Generic:0
x384fe3aa URL://127.0.0.1>]}
[2018-02-04T05:17:38,700][INFO ][logstash.pipeline ] Starting pipeline {"
id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.
delay"=>5, "pipeline.max_inflight"=>250}
[2018-02-04T05:17:38,747][INFO ][logstash.pipeline ] Pipeline main starte
d
The stdin plugin is now waiting for input:
[2018-02-04T05:17:38,872][INFO ][logstash.agent ] Successfully started
Logstash API endpoint {:port=>9600}
hello.arpenker
KIBANA中.DEV TOOLS的console里直接查询所有。
GET _search
{
"query": {
"match_all": {}
}
}
即可发现终于新增了一条记录。
{
"_index": "logstash-2018.02.03",
"_type": "logs",
"_id": "AWFdiFrCBZpn0eY58si-",
"_score": 1,
"_source": {
"@timestamp": "2018-02-03T21:17:52.331Z",
"@version": "1",
"host": "iZ94hfcf8jiZ",
"message": "hello.arpenker\r"
}
}
]
}
}
致此。标致着logstach写数据到es,从kibana中查询的流程全部打通了。
然后.
如何直接用命令行的方式.也是手动输入的方式.将数据写到ES里面去.
将语法稍微变通一下即可。 logstash -e 'inpu
t { stdin{} } output { elasticsearch {} }'
具体如下:
C:\Users\Administrator>D:\es\logstash-5.4.1\logstash-5.4.1\bin\logstash -e 'inpu
t { stdin{} } output { elasticsearch {} }'
Sending Logstash's logs to D:/es/logstash-5.4.1/logstash-5.4.1/logs which is now
configured via log4j2.properties
[2018-02-04T05:17:38,403][INFO ][logstash.outputs.elasticsearch] Elasticsearch p
ool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
[2018-02-04T05:17:38,419][INFO ][logstash.outputs.elasticsearch] Running health
check to see if an Elasticsearch connection is working {:healthcheck_url=>http:/
/127.0.0.1:9200/, :path=>"/"}
[2018-02-04T05:17:38,606][WARN ][logstash.outputs.elasticsearch] Restored connec
tion to ES instance {:url=>#<URI::HTTP:0x3afb9a53 URL:http://127.0.0.1:9200/>}
[2018-02-04T05:17:38,606][INFO ][logstash.outputs.elasticsearch] Using mapping t
emplate from {:path=>nil}
[2018-02-04T05:17:38,669][INFO ][logstash.outputs.elasticsearch] Attempting to i
nstall template {:manage_template=>{"template"=>"logstash-*", "version"=>50001,
"settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=
>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"pa
th_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text"
, "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"str
ing", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=
>"keyword"}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"
=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"d
ynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_po
int"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}
}}}}}
[2018-02-04T05:17:38,684][INFO ][logstash.outputs.elasticsearch] New Elasticsear
ch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<URI::Generic:0
x384fe3aa URL://127.0.0.1>]}
[2018-02-04T05:17:38,700][INFO ][logstash.pipeline ] Starting pipeline {"
id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.
delay"=>5, "pipeline.max_inflight"=>250}
[2018-02-04T05:17:38,747][INFO ][logstash.pipeline ] Pipeline main starte
d
The stdin plugin is now waiting for input:
[2018-02-04T05:17:38,872][INFO ][logstash.agent ] Successfully started
Logstash API endpoint {:port=>9600}
hello.arpenker
KIBANA中.DEV TOOLS的console里直接查询所有。
GET _search
{
"query": {
"match_all": {}
}
}
即可发现终于新增了一条记录。
{
"_index": "logstash-2018.02.03",
"_type": "logs",
"_id": "AWFdiFrCBZpn0eY58si-",
"_score": 1,
"_source": {
"@timestamp": "2018-02-03T21:17:52.331Z",
"@version": "1",
"host": "iZ94hfcf8jiZ",
"message": "hello.arpenker\r"
}
}
]
}
}
致此。标致着logstach写数据到es,从kibana中查询的流程全部打通了。
发表评论
-
SpringCloud00 _Restemplate的getForEntity、getForObject、 postForEntity、postForObjec
2022-10-20 02:26 400SpringCloud00 _Restemplate的get ... -
java键盘机器人
2022-08-18 16:26 381package com.yuexiu.yxdp.rpt.be ... -
java常用快捷键
2022-08-18 15:47 410IDEA中常用快捷键 psvm —— 用来快速写一个ma ... -
idea在旧环境里安装又出这个问题了
2022-08-11 17:33 2664这个一眼就看出来是找不到jre的错误。关键 ... -
mysql 5.5的安装包官网下载地址
2022-07-07 21:09 524https://downloads.mysql.com/arc ... -
idea java开发快捷键
2022-07-07 15:02 263在dao层的mapper类里。直接按住ctrl+左键可定位.x ... -
plugin
2022-07-05 10:45 264INFO] Finished at: 2022-07-05T1 ... -
maven配置,通用setting.xml配置-改为阿里云
2022-07-04 10:50 658maven配置,通用setting.xml配置-改为阿里云 ... -
启动模块时报错,命令行过长,command is too long.
2022-07-04 06:42 1751启动模块时报错,命令行过长,command is too lo ... -
node js 全部版本
2022-07-01 10:58 2731https://nodejs.org/en/download/ ... -
post json
2022-07-01 08:00 224try { String ding ... -
post json
2022-07-01 07:56 205package com.arpenker.stockrobot ... -
resttemplate
2022-06-30 15:21 260private static ResponseEntity&l ... -
量化工
2022-06-30 09:54 597String url = "https://api. ... -
eclipse快捷键
2022-06-30 09:18 285package shortcutKey; public cl ... -
ideajdk
2022-06-10 08:06 244「ideajdk」https://www.aliyundriv ... -
nohup java
2022-05-30 19:02 687nohup java -jar test.jar > . ... -
nohup java
2022-05-30 18:36 932springboot 项目内嵌tomcat,一般打包成jar ... -
查服务器硬盘内存CPU
2022-05-25 17:31 383grep MemTotal /proc/meminfo # ... -
tomcat8 和 jdk8
2022-05-21 08:06 342「tomcat8jdk8」https://www.aliyu ...
相关推荐
标题 "用于SqlServer 同步数据到ElasticSearch的logstash测试" 描述了一种通过Logstash将SQL Server数据库中的数据实时或定期同步到ElasticSearch的解决方案。在.NET平台上,这种数据同步通常是为了实现大数据分析、...
1. **logstash-***: Logstash是一个数据收集和处理系统,它可以将各种日志、事件数据从各种源头抽取、转换并加载到Elasticsearch。"logstash-*"通常表示Logstash生成的日志索引前缀,其中的星号(*)是通配符,意味着...
- **加载模板**:在Logstash运行前,将模板上传到Elasticsearch集群,可以使用`PUT _template` API或者在Logstash配置文件中指定。 - **配置Logstash**:在Logstash的输出部分,通过`elasticsearch`插件的`...
- **测试filebeat**:确保数据正确传输至Elasticsearch。 **2.8 安装Topbeat** - **导入elasticsearch公钥**:同前。 - **创建elastic-beats.repo**:同前。 - **安装topbeat**:`yum install topbeat`。 - **配置...
输出阶段,数据可以被发送到Elasticsearch进行存储和搜索,写入文件,或者转发给Graphite、Statsd等其他系统。 Logstash的优点包括其可伸缩性,可以轻松地在多个Logstash节点之间进行负载均衡,提供高可用性和容错...
最后,输出插件将处理后的数据发送到目的地,如 Elasticsearch(用于存储和搜索)、Kibana(用于可视化)或其他日志分析平台。 在"Logstash-test"中,我们可能会看到各种 Logstash 配置文件(以`.conf`为扩展名),...
在日志管理和分析场景中,Logstash 常用来从不同的日志源(如文件、网络设备、应用服务器等)收集日志数据,然后对这些数据进行过滤和转换,最后将处理后的数据发送到Elasticsearch进行存储和分析。Logstash 的配置...
Logstash作为日志收集器,负责搜集不同来源的日志数据,并将数据传送到Elasticsearch中。Logstash分为shipper(负责收集日志)和indexer(负责将数据索引到Elasticsearch)两个角色。Kibana为用户提供了基于Web界面...
这个压缩包提供了一组用于测试的医疗数据,数据格式为XML,这意味着我们需要利用Logstash这样的工具来将其有效地导入到Elasticsearch中。 首先,让我们详细了解一下Elasticsearch。Elasticsearch基于Lucene,采用...
PPT 文件 "elasticsearch.ppt" 可能包含了详细的测试计划、案例分析和实际测试数据。 通过这些测试方法,我们可以有效地评估 Elasticsearch 集群在不同条件下的性能,从而保证在实际应用中能够满足高可用性和高性能...
在IT领域,Logstash 被广泛用于日志管理和大数据分析,它能从各种数据源接收数据,进行过滤、转换,并将结果发送到各种目的地,如Elasticsearch、数据库或文件系统。 标题中的 "logstash-5.6.3.tar.gz" 指的是 ...
Logstash是ELK(Elasticsearch、Logstash、Kibana)堆栈的重要组成部分,它是一个开源的数据收集引擎,能够实时地从各种不同来源采集数据,进行过滤、转换,并将其发送到各种目的地,如Elasticsearch、文件、数据库...
4. 验证安装:通过发送测试数据到 Logstash,观察 Elasticsearch 是否正确索引和分词。 在实际应用中,用户可以利用这套组合进行中文日志分析、用户行为追踪、社交媒体监控等多种任务,从而挖掘数据价值,提升业务...
1. 确保已安装 Elasticsearch,并运行正常,因为 Logstash 往往将数据发送至此。 2. 如果需要使用 Kibana 进行可视化,Kibana 也需要安装并配置指向同一 Elasticsearch 实例。 3. 在 Logstash 配置文件中,设置 ...
2. **Logstash**: Logstash是一款开源的数据收集引擎,能够实时地从各种数据源收集数据,转换数据,并将其发送到“存储”或“处理”目标,如Elasticsearch、Kafka和文件等。 3. **Kafka**: Kafka是由Apache开发的...
在本部署中,Logstash可能配置了输入插件来接收系统日志、应用日志或网络日志,通过中间的过滤器处理这些数据(例如,解析JSON、添加标签等),然后使用输出插件将处理后的数据推送到Elasticsearch。 **Kibana** ...
ELK堆栈是由Elasticsearch、Logstash和Kibana三个开源工具组成的,它们通常联合使用来实现日志数据的收集、分析和可视化。Elasticsearch是一个基于Lucene构建的开源搜索引擎,具有分布式、多租户的能力,提供搜索...
作为Elastic Stack(之前称为ELK Stack,包括Elasticsearch、Logstash和Kibana)的一部分,Logstash能够帮助用户从各种来源高效地收集、转换并发送日志数据到指定的存储或处理系统。 Logstash 的核心特性包括输入...
4. **输出插件**:数据处理完成后,Logstash 可以通过输出插件将结果发送到各种目的地,如Elasticsearch、Kafka、stdout等。7.16.2 版本可能对这些插件进行了优化,以提高数据写入速度和可靠性。 5. **配置文件**:...