woodding2008
- 浏览: 289928 次
- 性别:
- 来自: 北京
-
最新评论
-
Ann-phei：
wooding老师，有没有出书计划呀，是否方便加我QQ详聊呀 ...
2016年书架整理 -
可乐瓶里的小辣椒：
Storm目录贴 -
可乐瓶里的小辣椒：
...
TCP编号系统 -
woodding2008：
tivan 写道反压的你有进行测试过吗？有做功能测试，没有做性 ...
Storm1.0.x新功能调研 -
tivan：
反压的你有进行测试过吗？
Storm1.0.x新功能调研
文章列表
redis-rdb-tools这个工具来分析rdb文件，通常定位问题会非常有帮助.
安装redis-rdb-tools
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install
分析是否有较大的value
redis-cli -p 6379 bgsave
sudo sh -c 'rdb -c memory dump.rdb > memory.csv'
sort -t, -k4nr ...
场景介绍
国庆期间Hbase集群有一台RegionServer a02机器的内存故障原因导致下线，集群在少一台的情况下运行正常，节后a02机器内存故障修复后重新加入集群提供服务，几乎同时发现集群另外一台a04的CPU使用率高居不下, 按照常理分析集群恢复至最初状态，应该会运行良好,实际上却是a04的CPU使用率一路飚高。
问题初步排查
Region数据排查，集群Region数量均衡，并无发现异常
GC日志分析,发现Parnew频率有增加，1天20-30次，与其他机器比偏高
RegionServer日志排查，也没有发现异常输出
配合网卡、 ...
Storm Worker端口冲突
- 博客分类：
- Storm
storm任务启动过程中一个worker启动失败，通过supervisor日志发现一直在尝试启动，最后定位到时worker的端口被其他进程占用了导致启动失败，尤其是当机器上有大量短连接时会增加worker端口被占的几率。
解决办法
其他服务避开worker端口
通过内核参数配置将storm使用到的端口配置成以监听的方式启动
三种查看随机端口范围
sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 1024 65000
cat /etc/ ...
玛丽亚每天都在房前的空地上练习唱歌。一位邻居听了，冷笑着说:"即使练破了嗓子，也不会有人为你喝彩，因为你的声音太难听了。"玛利亚回答道：“你所说的这番话，其他人也对我说过多次，但我不在乎，我是为自己而活，我只知道唱歌时我很快乐。”
我们不需要活在别人认可的世界里，快快乐乐地为自己活，潇潇洒洒的自恋，哪怕别人把自己当成精神病患者，我们也要做一个快乐的患者。
凡是都难有统一定论，谁的意见都可以参考，但永远不可以代替自己的主见，不要被他人的论断束缚了自己前进的步伐。遇事没有主见的人，就像两边倒的墙头草，没有自己的 ...
该说不的时候就要说不
- 博客分类：
- 职场
“不”这个字很好发音，可是我们平常却不会轻易说出口。因为说出这个字意味着拒绝，意味着我们可能会失去一些东西。确实，有时候说出“不”字需要勇气。
在日常生活中，我们需要说“不”的 ...
Redis Cluster Slots风暴
- 博客分类：
- Redis
近期Redis集群服务出现不稳定的情况，请求的总体RT波动性很大，出现请求失败的情况。
表现症状
p99的请求RT耗时问题时段大幅变长
个别Redis实例的total_net_output_bytes飚高【100+Mbytes】
个别Redis实例的cmdstats_cluster命令执行的次数飙高
个别Redis实例CPU使用率飚高
total_net_output_bytes飚高
Cluster命令次数飙高
事故现场
首先要搞明白到底谁在发送cluster指令，tcpflow官方版本抓包数据不带时 ...
一万小时天才理论 -- 三大秘籍
- 博客分类：
- 职场
精深练习
每天，全世界的球迷都在欣赏这样一个场景：一群球员包围了一位巴西球员，他们狭路相逢，令巴西球员插翅难飞，希望渺茫。紧接着这位巴西球员做出一个舞蹈般墨阳的动作---或佯攻、或助攻、或瞬间飞奔而去，显然他已经脱离重围，留下对手兀自困惑，他却如闲庭信步。
巴西之所以培养出如此多的优秀运动员，是因为他们自20世纪50年代以来，他们采用了一套独特的训练方法和一件独特的训练工具，使他们的控球能力超过世界上任何国家的球员。他们发现了一套提高学习速度的方法，而且他们自己同样也没有意识到，这种训练方法叫作精深练习。
精深练习是一个奇怪的概念，理由有二。
...
80/20法则-交友贵在精
- 博客分类：
- 职场
如果没有人际关系，我们在这个世界上就算活着也与死无异。友谊是生活的中心，这话听起来老套，确是真理。同样，职场人际关系是成功的中心，这句话很有道理。这些人际关系究竟和80/20法则有何关系呢？答案是密切相关。我们要在质和量之间进行权衡，但一直以来我们又忽视了最重要的东西。
80/20法则提供了3种引入深思的假设：
在我们的人际关系中，20%的人际关系具有80%的价值
我们人际关系80%的价值，来自我们最早建立起来的20%的亲密关系
然而，对于这创造了80%价值的20%人际关系，我们的关注度远不到80%
人确实能够做出很多令人吃惊 ...
从认识到人脉还有很长的一段路要走，人脉的本质是基于资源置换这一前提而成立的，也就是说，即便没有发生真正的资源置换行为，人脉其实也意味着某种将来能置换资源的能力和可能性。而所谓“认识”，离“互相认识”尚有距离，离“认可”更是有差距，就更不要提资源置换了。
在互联网上完成了认识这一步后，是否有可能从单纯的认识升级为人脉呢？还是有可能的。比如你在Linkedin上认识了和你研究领域相同的某人B，你在研究领域里遇到了某个难题，穷尽办法都无法解决，然后你给B发私信，如果是一个高质量的问题，你自己在这个问题上做了很多功课，B是会回答你的，这个回答有可能解决了你 ...
解决问题的最简单的方法
- 博客分类：
- 职场
西奥多●罗斯福给我们带来了一套解决问题的简单方法，熟练掌握可以提高工作的效率。
专注：首先锁定问题
第一步是要学会分析问题，首先你要能专注，能把问题看清楚。有时候可能需要你研究细节，摸清问题的真 ...
团队执行质量决定项目质量，所以项目质量管理实际上是对人的管理。
人普遍具有以下特征
拖延症,待在舒适区，胆怯挑战
做事目标不明确，不主动思考
那我们应该怎样去管理团队呢
本杰明 富兰克林提供了打败拖延症的10种方法
1、放弃完美主义，很多人之所以拖延是因为他们总是想要把事情做到完美。
2、多想想完成工作以后的回报，想想那是什么感觉。
3、不由分说，先做上10分钟再说。
4、关掉电视，断掉网络，电视和网络是最浪费时间的，给自己定个目标，在100%完成之前绝对不打开电视，不上网
5、给自己买个计时器，每个小时提醒自己一次，这样你就会知道时间总比你想象的要 ...
Callable是比Runnable更好的一个抽象，它有泛型的返回值，也可以抛出异常。
/**
* A task that returns a result and may throw an exception.
* Implementors define a single method with no arguments called
* {@code call}.
*
* <p>The {@code Callable} interface is similar to {@link
* java.lang.Runnable}, in that both ...
计数服务访问情况
Redis计数服务一直运行的比较稳定，国庆期间总体QPS量比较稳定，没有突破历史新高，不过连续两天发生大规模的超时，并导致服务产生雪崩效应，通过紧急降级才免于彻底瘫痪。
Mget接口的请求QPS
场景一
服务多个接口耗时加长，导致下游用户超时严重，产生雪崩效应，导致很多接口不出结果
故障持续了2-3个小时
排查服务运行指标，当时没有看出特别的状况
Redis实例CPU飚高
部分节点创建新连接数量激增[通常每秒2-3个]
redis节点处理请求数量
场景二
情况与场景一类似
影 ...
并发同步工具之Phaser
- 博客分类：
- 并发编程
Phaser是一个可重用同步屏障，类似于CyclicBarrier、CountDownLatch,但是使用起来更灵活。
A reusable synchronization barrier, similar in functionality to
* {@link java.util.concurrent.CyclicBarrier CyclicBarrier} and
* {@link java.util.concurrent.CountDownLatch CountDow ...
Storm TickTuple 意外停止
- 博客分类：
- Storm
Storm的滑动窗口TickTuple通常用来控制bolt定制执行入库操作，使用过程中遇到了TickTuple“意外停止”的情况。
场景描述
Jiaodian任务共计使用12个worker，tick tuple间隔为5分钟。
WebPvLogSpout & WebPvLogBolt的executor数量为12.
WebPvLogSpout消费kafka topic,log_product_ypvlog共计10个partition
6月14号下午启动，次日凌晨1点35分之后,有2个bolt就收不到tick tuple。
生产tickTuple消息的线程【user-ti ...