tofhao
- 浏览: 51279 次
- 性别:
- 来自: 成都
-
文章列表
grep -E '\{' riskservice-interface-slow.log |cut -d "{" -f 2|awk -F"," '{for (i=1;i<100;i++) if($i!=""){ split($i,a,":" ) ;if(a[2]>10) s[a[1]]+=1}}END {for (i in s) print i,t=s[i]}'|sort -nrk 2
Anaconda使用
- 博客分类：
- python
1.python 数据分析包
Anaconda-2.3.0-Windows-x86
2.http://www.afenxi.com/page/4?s=%E5%B0%8F%E7%99%BD%E5%AD%A6%E7%BB%9F%E8%AE%A1
cpu突然飙高，过阵下降
- 博客分类：
- java
1.首先业务属于web内网业务
2.按照经验jstack 查看，见另一篇文章，并无特点
3.查看jvm监控的数据
4.发现jvm的内存接近最大，然后gc，cpu使用率增高
5.解决设置xmx与xms均为4g，观察ok
jstorm相关介绍学习文章
- 博客分类：
- jstorm
总体认识：http://www.aboutyun.com/thread-6873-1-1.html
1.介绍从任务提交--》任务领取——>任务执行
zookeeper与任务调度
http://blog.csdn.net/benbendy1984/article/details/50917984
https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
2.基于（Flume+KafKa+JStorm+Esper+MySQL）https://github.com/wosyingjun/ ...
1.主要看阿里官网https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85
2.linux环境默认已经安装了Python
3.Zookeeper安装省略
4.jstorm2.1.1依赖jdk7
查看linux docker是32位还是64：uname -a
5.下载JDK
jdk-7u60-linux-x64.tar.gz
解压设置profile,生效source,验证java -version
6.下载jstorm-2.1.1
7.解压设置home与bin
export JST ...
1.idea15的安装简单省略
2.下载gradle-2.14-all
本机安装完成
3.idea 中配置gradle 如图，setting中选择grade,设置本地安装路径
4.新建工程测试groovy+java
5.设置依赖包以及目录,主要修改build.gradle
group 'com.jd.tu'
version '1.0-SNAPSHOT'
apply plugin: 'groovy'
apply plugin: 'java'
sourceCompatibility = 1.5
repositories {
mavenL ...
1.系统以及线上现象介绍：
以前运行正常，对比以前，任务数量具增，但数据并没有以前多;
线上问题：系统已经不正常，并且导致虚拟机节点重启不了，并且根据运维的反馈服务器上命令执行不了
2.日志查找分析：
a.日志错误源查找如下：
引用 Java HotSpot(TM) 64-Bit Server VM warning: Attempt to allocate stack guard pages failed.
Exception in thread "Thread-7050" java.lang.OutOfMemoryError: unable to crea ...
maven基于项目创建模版
- 博客分类：
- maven
Maven 2 创建自己的模版，并使用模版创建工程
1.建立样板Maven工程并创建example
2.进入 template_p 工程根目录
执行:mvn archetype:create-from-project
目的:生成模版工程文件
3.进入 template_p/target/generated-sources/archetype
执行:mvn install
目的:安装到本地maven仓库
4.创建一个工程目录 example
5.进入 example
执行:mvn archetype:generate -DarchetypeCatalog=local
<-Dfilt ...
mat分析内存上涨的原因
- 博客分类：
- java
MAT
Eclipse Memory Analyzer是一个非常好用的内存dump文件分析工具，我们可以利用它的Eclipse 插件轻松实现查看对象树、对象大小、生成报告，甚至自动化分析可能出现泄露的对象。关于MAT的使用介绍可以参考：http://www.ibm.com/developerworks/cn/opensource/os-cn-ecl-ma/index.html?ca=drs-。 文章中的例子是在windows平台下分析，对于非常大的dump文件就无能为力了。
Linux下使用MAT
对于非常大的dump文件MAT同样有办法分析，有下面几个步骤：
Step 1： ...
转发MySQL 加锁处理分析
- 博客分类：
- mysql
[code="java"]MySQL 加锁处理分析 http://hedengcheng.com/?p=771#_Toc374698306
发表于 2013 年 12 月 13 日 由 hedengcheng
1 背景 1
1.1 MVCC：Snapshot Read vs Current Read 2
1.2 Cluster Index：聚簇索引 3
1.3 2PL ...
转：vm-sdk-java安装开发环境
- 博客分类：
- java
vSphere Web Services SDK 安装
分类： 虚拟化&云计算 2013-03-22 02:48 479人阅读 评论(0) 收藏 举报
The VMware vSphere Web Services SDK includes all the components necessary to work with the VMware vSphere API, including WSDL files, sample code, and libraries. The vSphere Web Services SDK facilitates development of ...
1.intellij idea 意外死掉后，maven加载不了，打包报can't save server setting java.io.IOException
2.因为配置等信息丢失，重新配置maven等，
vm 参数：-noverify -javaagent:m:\jrebel\jrebel.jar -Drebel.spring_plugin=true
3.重启idea
1.使用redis2.6版本，redis自带的客户端
2.准备值设置值
set k1 5
set k2 6
set k3 4
3.使用lua脚本：
eval "local a,retlist=0,{} for _,k in pairs(KEYS) do if tonumber(redis.call('GET', k)) <tonumber(ARGV[1]) then a=a+1 retlist[a]=k end end return retlist" 3 k1 k2 k3 5
4.返回k2
5.ap ...
#! /usr/bin/env python
#coding=utf-8
import threading,sys
import random
import time
from Queue import Queue
import MySQLdb,time,datetime
isFinish=False
count_num_sql='''select count(1) t from fact_user_msg '''
#con_sql='''where ( d_o_lastordertime>='2012-06-19' and s_usr_level>60 and ...
切换到同一台物理机测试
1.物理机的情况：
内存：16g
cpu:4核 cpu MHz : 800.000
2.建同样的库表
3.造数据5000w测试
sql数量mysqlinfobright在服务器上全表count5000w25.08s0.08spython执行:d_o_lastordertime>='2012-06-19' and s_usr_level>60 and i_u_verified=1 036s<1scount:i_u_sex=1 and s_o_usermob_type=2 and i_o_ordesnum_3m=4 and i_u_verifi ...