一次完整的ELK环境搭建心得

我封装的阿里ELK-DOCKER-IMAGE

registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7

启动后的目录位置说明

/opt/logstash
/opt/kibana
/user/share/ElasticSearch


启动时候需要的端口映射[5601、9200、5000]

docker run -dit -p 5601:5601 -p 9200:9200 -p 5000:5000 registry.cn-hangzhou.aliyuncs.com/syl/ubuntu_elk_jdk7

分析需求结构,
理想的效果如图:





右边为[ELK分析展示服务器]

需要安装Redis用于存储各种日志队列。
需要安装logstash用于搜集本地Redis中存储的日志数据。
需要安装Elastic 分析 logstash 搜集到的数据。

如果你也是容器环境,建议宿主安装 Redis。

elk环境已在上述镜像中提供。


关于[ELK分析展示服务器] 中的 logstash 配置。


[logstash.cnf]

input {
    redis {
        host => "192.168.**.1"
        port => 6379
        data_type => "list"
        key => "logstash"
    }
}


output {
      elasticsearch {hosts => "localhost" }
      stdout{
        codec=>rubydebug
      }
}

以后台运行方式启动即可

./bin/logstash -f ./logstash.cnf &

kibana暂不需要配置。



elastic的配置中将networkhost 放开，如下:

network.host: 0.0.0.0

Elastic的启动方法:

service elasticsearch start

如果使用另外的方式启动,可能出现 '请不要用root启动'、bootstrap找不到等问题。

另外,如果出现内存问题,请调整分析引擎的jvm,将其适量降低。


ELA 测试 URL:
http://114.215.200.46:9200/
KIBANA 测试 URL:
http://114.215.200.46:5601/

另: ELA 需要安装插件。
ELA根目录内

./bin/plugin install mobz/elasticsearch-head

以上是[ELK分析展示服务器]的配置。




在[生产/测试] 服务器中,
也安装一个 Logstash 用于搜集 各容器项目中实际产生的业务日志、以及Nginx的访问日志。

[生产、测试服务器的Logstash的配置]

input {
  file {
    path => [ "/var/log/*.log", "/var/log/messages", "/var/log/syslog", "/var/log/denyhosts", "/var/log/dmesg", "/var/log/faillog", "/var/log/aptitude" ]
    start_position => beginning
  }
  file {
    type => "nginx-access"
    path => "/var/log/nginx/access.log"
  }
}

output {
  redis{
    host =>"192.168.124.128"
    data_type => "list"
    key => "logstash"
  }
}

启动方式同上。




配置完成后还要考虑过滤和格式化。

下次再写。





推荐几篇文章帮助消化:
http://www.linuxidc.com/Linux/2016-06/132618.htm
http://www.360doc.com/content/17/0822/16/46666273_681266046.shtml
http://www.cnblogs.com/saintaxl/p/3946667.html