`
qindongliang1922
  • 浏览: 2188018 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117633
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126036
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:59985
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71376
社区版块
存档分类
最新评论

Logstash2.3.4趟坑之集成Redis哨兵模式

    博客分类:
  • ELK
阅读更多


最新在使用Lostash2.3.4收集数据的时候,在读取redis数据的时候,报了如下的一个异常:

异常如下

Pipeline aborted due to error {:exception=>#<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>, :backtrace=>["/home/search/logstash-2.3.4/vendor/jruby/lib/ruby/1.9/uri/generic.rb:214:in `initialize'"

Logstash自带的ruby是1.9的版本,自带集成的redis插件也是最新的redis-rb3.3.1

Logstash里面默认自带了redis插件,也就是redis-rb3.3.1

如果没带可以进入logstash目录:

logstash-2.3.4\vendor\jruby\bin进行安装

cd logstash-2.3.4\vendor\jruby\bin
gem install redis

如果redis采用的是哨兵模式的集群,那么redis-rb插件也是支持的,具体的看官网github文档:

https://github.com/redis/redis-rb

logstash的代码如下:

input{
 stdin{}
}


filter{

ruby{
init => "
require 'redis'

class Rconn  
   @@SENTINELS = [{:host => '192.168.10.214', :port => 26381},
             {:host => '192.168.10.214', :port => 26382},
             {:host => '192.168.10.214', :port => 26383}]
   def self.con   
   @@con  
   end 
  
   def self.SENTINELS
   @@SENTINELS
   end 
   @@con = Redis.new(:url => 'redis://redismaster10214', :sentinels => Rconn.SENTINELS, :role => :master)
end
"
code => "
event['redis_data']=Rconn.con.get(event['message']) 
"
}
}

output{
  stdout { codec => rubydebug }
}


注意下面这句话

:url => 'redis://redismaster10214'

redis的哨兵masterName在ruby1.9中必须不能带下划线,否则会报下面的异常:
错误的用法

:url => 'redis://redis_master_10214'
<URI::InvalidURIError: the scheme redis does not accept registry part: redis_master_10214 (or bad hostname?)>,


ruby里面的标准的url校验,发现url里面如果有带下划线的,会认为是不合法的url,具体可参考下面两个问题连接:

https://github.com/docker/compose/issues/472

http://stackoverflow.com/questions/2180465/can-domain-name-subdomains-have-an-underscore-in-it

目前在ruby1.9的版本中发现此bug,使用最新的版本ruby2.3.0则没有此问题,说明在高版本的ruby中 已经修复了此问题,但是logstash最新的版本绑定的jruby版本是1.9的ruby,所以还存在此问题,只能在使用时避免,真是血泪教训,花费了大半天时间趟的坑。


有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。
技术债不能欠,健康债更不能欠, 求道之路,与君同行。



  • 大小: 67.8 KB
0
0
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics