hadasione
- 浏览: 10561 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
top -Hp pid
printf "%x\n" 21742 找到耗时最长的进程
jstack pid | grep 54ee 定位某个类的方法
jstack 10535|grep -A 10 2a1d (最后十行)
jmap 查询pid 内存线程
附：TOP命令中需要关注的值：
（1）load average：此值反映了任务队列的平均长度；如果此值超过了CPU数量，则表示当前CPU数量不足以处理任务，负载过高
（2）%us：用户CPU时间百分比；如果此值过高，可能是代码中存在死循环、或是频繁GC等
（3）%sy：系统CPU时间百分比；如果此值过高，可能是系 ...
phantomjs
- 博客分类：
- phantomjs--爬虫
最近做爬虫，基于网页上面有很多ajax请求，可以采用httpclient找到相应的ajax，这样做比较麻烦，然后采用phantomjs,直接可以获取到网页所有信息。
public static String dealWithAjax(String url) throws IOException {
Runtime rt = Runtime.getRuntime();
Process p = rt.exec("phantomjs.exe D:\\rj\\RedisImportMysql\\src\\js\\test.js "+url);
I ...
kafaka+spark+hdfs简单实例
- 博客分类：
- spark
1.spark的standalone搭建很简单，简单列出相应的配置文件.
vi spark-env.sh
#!/usr/bin/env bash
export SCALA_HOME=/opt/scala-2.10.3
export JAVA_HOME=/opt/jdk1.7.0_79
export SPARK_MASTER_IP=192.168.1.16
export SPARK_WORKER_INSTANCES=3
export SPARK_MASTER_PORT=7776
export SPARK_MASTER_WEBUI_PORT=7777
export SPARK_WORKER_PORT ...
hadoop2.6集群搭建
- 博客分类：
- hadoop2.6HA搭建
下面是自己在公司的测试服务器上面搭建的HA
#nohup java -jar puv_view.jar >> puv_out.file 2>&1 &
#*/2 * * * * sh /usr/local/puv_jar/exc.sh
卸载centos自带的jdk
yum -y remove java java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
yum -y remove java java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm ...
- 2015-04-29 12:20
- 浏览 719
- 评论(0)
1.今天对三千万数据进行pv,uv处理,突然有意思的建立了uuid作为主键,应用六个线程去处理六个文件，测试结果发现
(1)有uuid批量插入,每一万个数据提交一次[数据量达到十万时发生内存溢出],
前六分钟跑的速度还行,插入了250w数据，后面的插入数据慢慢走。让我无法忍受，直接关了。
(2)对puv汇总的时候select url,sum(nums) from puv group by url,发现也是慢的可以用时2.2分钟。
下面是测试结果：
320w 31 2.2分钟
270w 12
254w 8
250w 6
-------------------
去掉u ...
快速排序是一个分治和递归的一个思想。
快速排序思想是折半查找,从最右边开始查找，找到一个比k值小的然后对换，再从左边开始查找，找到一个比k值大的，然后对换。继续循环就完成第一次排序。拿到返回的位置后，左右两边开始递归。
package quicksort;
import java.util.Arrays;
/**
* @author liyu
*
*/
public class Sort {
public static void main(String[] args) {
// TODO Auto-generated method stub
int arr[] = {1 ...
- 2015-04-10 11:03
- 浏览 420
- 评论(0)
spark
- 博客分类：
- spark-topk
1.简单关于气温topk小例子。
package jspark;
import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Fl ...
- 2015-04-09 16:21
- 浏览 889
- 评论(0)
index.html的ajax请求 get方式请求
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<meta charset="utf-8">
<meta http-equiv="Content-Type" content="text/javascript;charset=utf-8">
<title>无标题文档</title&g ...
hadoop rpc简单helloworld实现
1.rpc获取到服务器server
Server server = RPC.getServer(new ServerInstanceImpl(),PRC_ADDRESS,PRC_PORT,
new Configuration());
2.rpc启动服务器
server.start();
3.创建服务器实例接口
import org.apache.hadoop.ipc.VersionedProtocol;
public interface Ser ...