kafka start

java -> kafka -> logstash -> elasticsearch + kibana

①java把日志写入kafka

②logstash从kafka获取数据

③logstash将数据写入elasticsearch

④kibana用于展示elasticsearch的数据

 

整套日志架构软件版本使用

kafka : kafka_2.10-0.10.0.0.tgz

logstash:logstash-2.3.0.tar.gz

elasticsearch: elasticsearch-2.3.0.tar.gz

kibana : kibana-4.3.0-linux-x64.tar.gz

 

 

使用log4j将程序日志实时写入kafka

http://www.cnblogs.com/gaopeng527/p/5266351.html

 

Kafka与logstash数据交互

http://blog.csdn.net/xiaoyu_bd/article/details/52454951

 

logstash

Logstash安装和使用

http://blog.csdn.net/u012373815/article/details/51029826

 

logstash+elasticsearch配置文件创建规则

https://www.elastic.co/guide/en/logstash/current/configuration.html

 

Elasticsearch+kibana  

kibana和Elasticsearch集成只需要简单的配置Kibana的配置文件

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的

 

 

kibana4的安装和使用

http://blog.csdn.net/u012373815/article/details/51029855

这边博客写的比较详细：http://blog.csdn.net/ming_311/article/details/50619859

kibana官方示例：https://my.oschina.net/clgo/blog/671861

 

Kafka 生产者消费情况监控，输入输送到 Elasticsearch 并利用 Kibana 进行前台展示。

 

安装elasticsearch插件elasticsearch-head

elasticsearch-2.2.0 如何安装插件elasticsearch-head?

Head插件是Elasticsearch的图形化界面，方便 用户对数据进行增删改查，基于REST的四种方式进行数据交互

 

1.安装和使用kafka

参考：http://colobu.com/2014/08/06/kafka-quickstart/

 

2.安装和使用elasticsearch

参考：http://shensuqiao.iteye.com/blog/2251674

 

3.安装elasticsearch插件elasticsearch-head

①https://github.com/mobz/elasticsearch-head下载zip 解压

②建立elasticsearch-2.3.1\plugins\head文件

③将解压后的elasticsearch-head-master文件夹下所有的文件copy到head（注意：这里说的是elasticsearch-head-master文件夹下面的文件）

④运行es

⑤打开http://localhost:9200/_plugin/head/

 

 

启动报错：

Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.

解决：http://blog.csdn.net/u010317005/article/details/52205825

 

 

 

参考：

1.kafka入门教程

http://colobu.com/2014/08/06/kafka-quickstart/

 

创建只有一个备份一个分区的主题test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看主题

bin/kafka-topics.sh --list --zookeeper localhost:2181

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息

./kafka-console-consumer.sh --zookeeper 10.10.28.111:2181 --topic test --from-beginning

查看主题信息

bin/kafka-topics.sh --describe --zookeeper 10.10.28.111:2181 --topic test

 

 

kafka+log4j

http://www.cnblogs.com/dreammyle/p/6598935.html

http://stackoverflow.com/questions/35628706/kafka-log4j-appender-0-9-does-not-work

 

2.认识kibana

http://blog.csdn.net/ming_311/article/details/50619804

 

3.Elasticsearch教程

http://www.sojson.com/blog/85.html

 

4.跨域问题处理

 

5.网关编写