`
arpenker
  • 浏览: 358379 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

logstash测试将数据写到es里去

阅读更多
有了操作logstash的单机经验之后,对其有了大致了解.不满足.

然后.

如何直接用命令行的方式.也是手动输入的方式.将数据写到ES里面去.

将语法稍微变通一下即可。 logstash -e 'inpu
t { stdin{} }  output {  elasticsearch {}  }'

具体如下:
C:\Users\Administrator>D:\es\logstash-5.4.1\logstash-5.4.1\bin\logstash -e 'inpu
t { stdin{} }  output {  elasticsearch {}  }'
Sending Logstash's logs to D:/es/logstash-5.4.1/logstash-5.4.1/logs which is now
configured via log4j2.properties
[2018-02-04T05:17:38,403][INFO ][logstash.outputs.elasticsearch] Elasticsearch p
ool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
[2018-02-04T05:17:38,419][INFO ][logstash.outputs.elasticsearch] Running health
check to see if an Elasticsearch connection is working {:healthcheck_url=>http:/
/127.0.0.1:9200/, :path=>"/"}
[2018-02-04T05:17:38,606][WARN ][logstash.outputs.elasticsearch] Restored connec
tion to ES instance {:url=>#<URI::HTTP:0x3afb9a53 URL:http://127.0.0.1:9200/>}
[2018-02-04T05:17:38,606][INFO ][logstash.outputs.elasticsearch] Using mapping t
emplate from {:path=>nil}
[2018-02-04T05:17:38,669][INFO ][logstash.outputs.elasticsearch] Attempting to i
nstall template {:manage_template=>{"template"=>"logstash-*", "version"=>50001,
"settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=
>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"pa
th_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text"
, "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"str
ing", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=
>"keyword"}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"
=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"d
ynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_po
int"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}
}}}}}
[2018-02-04T05:17:38,684][INFO ][logstash.outputs.elasticsearch] New Elasticsear
ch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>[#<URI::Generic:0
x384fe3aa URL://127.0.0.1>]}
[2018-02-04T05:17:38,700][INFO ][logstash.pipeline        ] Starting pipeline {"
id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.
delay"=>5, "pipeline.max_inflight"=>250}
[2018-02-04T05:17:38,747][INFO ][logstash.pipeline        ] Pipeline main starte
d
The stdin plugin is now waiting for input:
[2018-02-04T05:17:38,872][INFO ][logstash.agent           ] Successfully started
Logstash API endpoint {:port=>9600}
hello.arpenker

KIBANA中.DEV TOOLS的console里直接查询所有。
GET _search
{
  "query": {
    "match_all": {}
  }
}

即可发现终于新增了一条记录。



  {
        "_index": "logstash-2018.02.03",
        "_type": "logs",
        "_id": "AWFdiFrCBZpn0eY58si-",
        "_score": 1,
        "_source": {
          "@timestamp": "2018-02-03T21:17:52.331Z",
          "@version": "1",
          "host": "iZ94hfcf8jiZ",
          "message": "hello.arpenker\r"
        }
      }
    ]
  }
}

致此。标致着logstach写数据到es,从kibana中查询的流程全部打通了。
分享到:
评论

相关推荐

    用于SqlServer 同步数据到ElasticSearch的logstash测试

    标题 "用于SqlServer 同步数据到ElasticSearch的logstash测试" 描述了一种通过Logstash将SQL Server数据库中的数据实时或定期同步到ElasticSearch的解决方案。在.NET平台上,这种数据同步通常是为了实现大数据分析、...

    elasticSearch测试数据

    1. **logstash-***: Logstash是一个数据收集和处理系统,它可以将各种日志、事件数据从各种源头抽取、转换并加载到Elasticsearch。"logstash-*"通常表示Logstash生成的日志索引前缀,其中的星号(*)是通配符,意味着...

    logstash-template模板:logstash.json

    - **加载模板**:在Logstash运行前,将模板上传到Elasticsearch集群,可以使用`PUT _template` API或者在Logstash配置文件中指定。 - **配置Logstash**:在Logstash的输出部分,通过`elasticsearch`插件的`...

    ELK学习笔记.docx elasticsearch logstash kibana 环境搭建开发

    - **测试filebeat**:确保数据正确传输至Elasticsearch。 **2.8 安装Topbeat** - **导入elasticsearch公钥**:同前。 - **创建elastic-beats.repo**:同前。 - **安装topbeat**:`yum install topbeat`。 - **配置...

    Logstash的介绍、原理、优缺点、使用、持久化到磁盘、性能测试1

    输出阶段,数据可以被发送到Elasticsearch进行存储和搜索,写入文件,或者转发给Graphite、Statsd等其他系统。 Logstash的优点包括其可伸缩性,可以轻松地在多个Logstash节点之间进行负载均衡,提供高可用性和容错...

    logstash-test

    最后,输出插件将处理后的数据发送到目的地,如 Elasticsearch(用于存储和搜索)、Kibana(用于可视化)或其他日志分析平台。 在"Logstash-test"中,我们可能会看到各种 Logstash 配置文件(以`.conf`为扩展名),...

    elasticsearch+kibana+logstash

    在日志管理和分析场景中,Logstash 常用来从不同的日志源(如文件、网络设备、应用服务器等)收集日志数据,然后对这些数据进行过滤和转换,最后将处理后的数据发送到Elasticsearch进行存储和分析。Logstash 的配置...

    Elasticsearch5.3.2Logstash5.3.2Kibana5.3.2Kafka-0.10.0.1打造开源实时日志分析系统v1.4

    Logstash作为日志收集器,负责搜集不同来源的日志数据,并将数据传送到Elasticsearch中。Logstash分为shipper(负责收集日志)和indexer(负责将数据索引到Elasticsearch)两个角色。Kibana为用户提供了基于Web界面...

    Elasticsearch测试医疗数据

    这个压缩包提供了一组用于测试的医疗数据,数据格式为XML,这意味着我们需要利用Logstash这样的工具来将其有效地导入到Elasticsearch中。 首先,让我们详细了解一下Elasticsearch。Elasticsearch基于Lucene,采用...

    elasticsearch 性能测试

    PPT 文件 "elasticsearch.ppt" 可能包含了详细的测试计划、案例分析和实际测试数据。 通过这些测试方法,我们可以有效地评估 Elasticsearch 集群在不同条件下的性能,从而保证在实际应用中能够满足高可用性和高性能...

    logstash-5.6.3.tar.gz

    在IT领域,Logstash 被广泛用于日志管理和大数据分析,它能从各种数据源接收数据,进行过滤、转换,并将结果发送到各种目的地,如Elasticsearch、数据库或文件系统。 标题中的 "logstash-5.6.3.tar.gz" 指的是 ...

    logstash-5.6.4.tar.gz

    Logstash是ELK(Elasticsearch、Logstash、Kibana)堆栈的重要组成部分,它是一个开源的数据收集引擎,能够实时地从各种不同来源采集数据,进行过滤、转换,并将其发送到各种目的地,如Elasticsearch、文件、数据库...

    Elasticsearch 7.6 logstash ik中文分词器下载.zip

    4. 验证安装:通过发送测试数据到 Logstash,观察 Elasticsearch 是否正确索引和分词。 在实际应用中,用户可以利用这套组合进行中文日志分析、用户行为追踪、社交媒体监控等多种任务,从而挖掘数据价值,提升业务...

    logstash-7.9.3.7z

    1. 确保已安装 Elasticsearch,并运行正常,因为 Logstash 往往将数据发送至此。 2. 如果需要使用 Kibana 进行可视化,Kibana 也需要安装并配置指向同一 Elasticsearch 实例。 3. 在 Logstash 配置文件中,设置 ...

    scala通过logstash发送日志到kafka的Demo

    2. **Logstash**: Logstash是一款开源的数据收集引擎,能够实时地从各种数据源收集数据,转换数据,并将其发送到“存储”或“处理”目标,如Elasticsearch、Kafka和文件等。 3. **Kafka**: Kafka是由Apache开发的...

    ELK集群部署(elasticsearch\logstash\kibana)

    在本部署中,Logstash可能配置了输入插件来接收系统日志、应用日志或网络日志,通过中间的过滤器处理这些数据(例如,解析JSON、添加标签等),然后使用输出插件将处理后的数据推送到Elasticsearch。 **Kibana** ...

    2021最新版7.x =&gt; filebeat+logstash+ES集群+kibana实战.pdf

    ELK堆栈是由Elasticsearch、Logstash和Kibana三个开源工具组成的,它们通常联合使用来实现日志数据的收集、分析和可视化。Elasticsearch是一个基于Lucene构建的开源搜索引擎,具有分布式、多租户的能力,提供搜索...

    Logstash数据收集引擎介绍.pptx

    作为Elastic Stack(之前称为ELK Stack,包括Elasticsearch、Logstash和Kibana)的一部分,Logstash能够帮助用户从各种来源高效地收集、转换并发送日志数据到指定的存储或处理系统。 Logstash 的核心特性包括输入...

    logstash-7.16.2-linux-x86-64版

    4. **输出插件**:数据处理完成后,Logstash 可以通过输出插件将结果发送到各种目的地,如Elasticsearch、Kafka、stdout等。7.16.2 版本可能对这些插件进行了优化,以提高数据写入速度和可靠性。 5. **配置文件**:...

Global site tag (gtag.js) - Google Analytics