corejava2008
- 浏览: 296622 次
- 性别:
- 来自: 北京
-
最新评论
-
corejava2008：
需要重启集群 参考类似问题：https://discuss.e ...
ElasticSearch通讯异常 -
xierfly：
想问一下，如果是window上，怎么安装这个呢？试过没？
TopBeat服务安装 -
harim：
不错，我试了一下，果然是负载 均衡＋失效转移机制。不过关了2台 ...
Redis3.0-集群环境搭建 -
sgq0085：
一直都想学一下集中化的管理日志，正好跟楼主学习了！
1.LogStash入门教程 -
ahack：
看起来只要你格式化的变量中任何一个地方引号没闭合你序列化的时候 ...
Nginx 输出Json格式日志
文章列表
Kibana插件Timelion介绍 自定义分析图表
首先到Timelion定制页面：
昨日与今日数据对比
定制完成后到kibana Visualize中找到刚才保存的面板
找到图表链接，内嵌到自定义页面中
最终页面效果就是这样的了。样式采用bootstrap默认。。
Kibana插件Timelion介绍
Timelion是一个kibana时间序列展示组件
效果图如下：
The time series composer for Kibana
Kibana4.5安装方式：
./bin/kibana plugin -i elastic/timelion
Kibana5安装方式
./bin/kibana-plugin install timelion
安装完成后可以在kibana看到这个插件！如果没有显示，请尝试重启kibanba服务。
查询语法：
.es(q="querystri ...
当前Master节点A，数据节点B。
A日志：
[2016-06-23 17:52:35,975][WARN ][transport.netty ] [node-svr132] exception caught on transport layer [[id: 0xcb0c5acc, :38310 => /:9350]], closing connection
java.lang.IllegalStateException: Message not fully read (request) for requestId [804261] ...
ElasticSearch2.3.2 轮流重启升级流程
1.关闭分片迁移
PUT /_cluster/settings {
TopBeat是一个简单的服务器数据采集脚本，已经获取服务器进程的CPU，内存，磁盘使用数据。并将数据输出到ElasticSearch，Redis等服务中，非常的简单易用。
1.下载TopBeat wget https://download.elastic.co/beats/topbeat/topbeat-1.0.0-beta3-x86_64.tar.gz
2.解压并修改配置文件 tar -xzvf topbeat-1.0.0-beta3-x86_64.tar.gz cd topbeat-1.0.0-beta3-x86_64 修改topbeat.yml,中的l ...
当使用Dockerfile Build镜像时，优势会发现发送到Daemo的内容过大
build image:q_build/javaweb:20150910174642
Sending build context to Docker daemon 4.768 GB
Sending build context to Docker daemon
Step 0 : FROM 192.168.100.123:5000/q_basic/javaweb:1.0
---> 0aab72ab2945
Step 1 : MAINTAINER tyleryan <156926528@q ...
####4.3 Marathon 提供的Docker服务发现及负载方案* HAProxy配置文件目录 * Brige目录：SVR72 /usr/local/haProxy* 4.3.1 原理 marathon的restful api 有查看当前程序信息的接口: http://192.168.100.124:8080/v2/tasks 可以查询当前正在运行的app的host及端口信息* 4.3.2 haproxy安装 登陆SVR72服务器 yum -y install haproxy 安装后的配置文件位置 /etc/haproxy/haproxy. ...
Docker本地私有仓库搭建：
准备两台服务器192.168.10.123,192.168.10.124
1.以容器的方式运行registry服务，在123服务器执行
docker run -idt -p 5000:5000 --name registry -v /data/registry:/data/docker/registry registry
启动成功后，使用docker ps查看进程
[root@localhost build]# docker ps
CONTAINER ID IMAGE COMMAND ...
Docker -d -D服务无法启动 问题详情显示如下：
INFO[0000] Listening for HTTP on unix (/var/run/docker.sock)
ERRO[0000] [graphdriver] prior storage driver "devicemapper" failed: Error running DeviceCreate (CreatePool) dm_task_run failed
FATA[0000] Error starting daemon: error initializing graphdriver: ...
强制重置脚本，请留意，可能会造成数据丢失。
NODE="YOUR NODE NAME"
IFS=$'\n'
for line in $(curl -s 'localhost:9200/_cat/shards' | fgrep UNASSIGNED); do
INDEX=$(echo $line | (awk '{print $1}'))
SHARD=$(echo $line | (awk '{print $2}'))
curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
&quo ...
Flume入门教程-简单案例
1.下载安装
官方网站：http://flume.apache.org/
http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
tar -zxvf apache-flume-1.6.0-bin.tar.gz
2.修改配置
重命名flume-conf.properties.template文件为simple.conf,并修改为以下内容
Agent名称定义为agent.
Source:可以理解为输入端，定义名称为s1
chan ...
4.Logstash 入门教程-数据处理流程
LS的处理流程分三个阶段：inputs->Filters-> Outputs.
input：产生事件，filter：修改事件，output：输出事件。
在Input，Output阶段支持codecs解编码器，这样就不用在数据输入和输出的位置配置独立的Filter了。
Input输入配置：
常用的有
File
syslog
redis
lumberjack
当然还有很多其他的啦，如ActiveMQ Kafak hdfs等....
Filters过滤配置:
在LS中属于独立的处理流程。可以通过条件拼接过个 ...
3.Logstash 入门教程 -配置案例
介绍一个详细案例，讲述如何配置读取Apache日志，Syslog并根据自定义条件进行过滤和输出。
手工输入并解析数据
LS中可以通过Filter针对数据进行切片切块等操作，解析，装换，组装等等。。
input { stdin { } } #控制台输入
filter {
grok { #通过GROK来自动解析APACHE日志格式
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {#通过Dat ...
2.Logstash入门教程 - 启动命令行参数
Logstash的启动脚本中有比较多的命令行参数：
-f ：用于指定配置文件
使用文件，目录，或者通配符加载配置信息，如果指定为目录或者通配符，按字母顺序加载。
-e: 用于指定字符串输入
默认输入为，stdin { type => stdin }
默认输出为：stdout { codec => rubydebug }}
-w: 指FilterWorkers的数量，默认为1
-l：指定输出文件的路径，默认为控制台输出
--verbose:设置较少的日志
--debug:设置更消息的日志
-- ...
首先Logstash需要依赖JDK 1.7+版本，请确认服务器是否安装了正确的JDK并配置了ClassPath。
Logstash提供了一个启动脚本，通过该脚本启动服务。
可以在该文件中配置JAVA_OPTS和LS_JAVA_OPTS配置JVM，JMS（如果想通过JMS监控的话）相关的参数。
下载并启动服务
curl -O https://download.elasticsearch.org/logstash/logstash/logstash-{logstash_version}.tar.gz
tar -zxvf logstash-1.5.0.tar.gz
cd lo ...