05rjyzl11
- 浏览: 151282 次
- 性别:
- 来自: 北京
-
最新评论
-
isaiah282485068：
怎么不出书出来啊，市场上好却这方面的书啊
mule in action翻译1 : 第一部分 mule 核心
文章列表
面试说说zk
自己要能讲出来，要有自己的思路。
要记住面试官都是傻叉，你只要说不出来他们就认为你不会。
zookeeper的集群组成及角色介绍
- 博客分类：
- 面试系列
zookeeper的集群组成及角色介绍
面试被问道zk，感觉自己对zk还算熟悉，但没答上来。平时真没注意过什么集群角色，
而且自己在zk官网也没注意过有相关描述。
见过一点东西不要觉得自己就会了就懂了，还是要踏踏实实 ...
openssl生成RSA格式的公私钥，并转为pkcs8格式
第一步：生成私钥，这里我们指定私钥的长度为2048
openssl genrsa -out rsa_private_key.pem 2048
第二步：根据私钥生成对应的公钥：
openssl rsa -in rsa_private_key.pem -pubout -out rsa_public_key_2048.pub
第三步：私钥转化成pkcs8格式，【这一步非必须，只是程序解析起来方便】
zookeeper Len error
- 博客分类：
- 遇到的问题
zookeeper Len error
服务端一个zookeeper 机器重启后 ，客户端反复了重连不能建立session
查看服务端日志报错： java.io.IOException: Len error 2570500
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@861] - Client attempting to renew session 0xd67322ec48c059a at /192.168.1.1:53376
INFO [NIOServerCxn.Fac ...
调整tomcat接受连接数 线程数
- 博客分类：
- 遇到的问题
调整tomcat接受连接数 线程数
有用户调用报错：502 Bad Gateway
ng 和 tomcat上 都没查到相关 502日志
怀疑是前端的负载均衡返回给客户的 。
腾讯给的说明：
被动动健康检查机制：默认的失败次数3，超时时间是10s。
说简单一点就是在10s 内有失败3次的情况（连接超时，返回5xx），那么接下来的10s内，就不会轮询到这个rs，
如果在很短的时间里，请求超时的情况比较多，导致所有的rs失败次数都大于3，那么这次请求就会返回一个502，
显示没有可用的rs，这时会清除计数，下个请求会重新调度。
这种策略在正常的请求里是可以达到动态 ...
ssl 忽略主机验证
- 博客分类：
- 遇到的问题
ssl 忽略主机验证
javax.net.ssl.SSLException: Certificate for <103.xx.xx.xx> doesn't match common name of the certificate subject: *.xx.com.cn
可以：
SSLConnectionSocketFactory sslf = new SSLConnectionSocketFactory(sslcontext, new String[] { "TLSv1" },null, SSLConnectionSocketFacto ...
dubbo zk上的节点 /dubbo/xxxService 节点是持久节点
ephemeralOwner:临时节点的session id，如果不是临时节点，将为0
zk 默认客户端数 为 maxClientCnxns=60--一个客户端的限制
zk连接数 慢了导致 新的客户端 连接不上来 ，提示：connect reset
可以根据实际情况 修改这个配置参数
https://zookeeper.apache.org/doc/current/zookeeperAdmin.html
maxClientCnxns : (No Java system property) Limits the number of concurrent connections (at the socket level) that a single ...
TCP 的 SO_KEEPALIVE TCP_NODELAY
--一段使用netty的程序代码：
private void doOpen() throws Throwable {
bootstrap = new Bootstrap();
bootstrap.option(ChannelOption.SO_KEEPALIVE, true);
bootstrap.option(ChannelOption.TCP_NODELAY, true);
...
tomcat8 配置使用 openjdk8
- 博客分类：
- 遇到的问题
tomcat8 配置使用 openjdk8
1、安装openjdk8
可以参考：http://openjdk.java.net/install/
su -c "yum install java-1.8.0-openjdk"
su -c "yum install java-1.8.0-openjdk-devel"
2、修改 apache-tomcat-8.5.29/bin/setclasspath.sh
增加：
JAVA_HOME=/usr/lib/jv ...
spark性能优化
主要是对内存使用的优化
诊断内存消耗：
java object header 增大了内存消耗
常见的collection 类 增大了内存消耗
--------------------------------------------
序列化： 默认使用Java的 序列化
同时支持 kryo 序列化：
java 使用 kryo：
SparkConf conf = new SparkConf().setAppName(appName) ...
spark-学习笔记--29 shuffle2
- 博客分类：
- spark
shuffle2
spark shuffle 演进的历史：
Spark 0.8及以前 Hash Based Shuffle
Spark 0.8.1 为Hash Based Shuffle引入File Consolidation 机制
Spark 0.9 引入ExternalAppendOnlyMap
Spark 1.1 引入Sort Based Shuffle，但默认仍为Hash Based Shuffle
Spark 1.2 默认的Shuffle方式改为Sort Based Shuffle
Spark 1.4 引入Tungsten-Sort Based Shuffl ...
spark-学习笔记--28 shuffle
- 博客分类：
- spark
shuffle
shuffle将具有某种共同特征的一类数据汇聚到一个节点上
reduceByKey groupByKey、sortByKey、countByKey、join 、cogroup 等操作时会发生 shuffleMapTask
默认shuffle 操作 ：
Mapper会根据Reducer的数量创建出相应的bucket，bucket的数量是M×R，其中M是Map的个数，R是Reduce的个数。
Mapper产生的结果会根据设置的partition算法填充到每个bucket中去。这里的partition算法是可以自定义 ...
spark-学习笔记--27 Task 源码
- 博客分类：
- spark
Task 源码
org.apache.spark.executor.Executor.TaskRunner.run()
task反序列化
updateDependencies : 通过网络拉取依赖的文件、jar包,使用loader 加载获取的jar
执行 org.apache.spark.scheduler.Task 的 run( ) 构建TaskContext
执行 Task子类的 runTask(context)方法
.
ShuffleMapTask：
执行 rdd.iterato ...