czy160214
- 浏览: 9448 次
-
最新评论
文章列表
关于spark的性能，基于YDB的对比，做了一个测试，保留备用。
一、YDB与spark sql在排序上的性能对比测试
在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀Spark任何格式。
测试结果(时间单位为秒)
spark 内存泄露
1.高并发情况下的内存泄露的具体表现
很遗憾，Spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。
a)在进行大量小SQL的压测过程中发现，有大量的activejob在spark ui上一直处于pending状态，且永远不结束，如下图所示