san_yun
- 浏览: 2673696 次
- 来自: 杭州
-
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
文章列表
定位IO瓶颈的一些方法
- 博客分类：
- 性能
IO瓶颈往往是我们可能会忽略的地方（我们常会看top、free、netstat等等，但经常会忽略IO的负载情况），今天给大家详细分享一下如何确认一台服务器的IO负载是否到达了瓶颈，以及可能优化、定位的点。 先来看一台典型的IO密集型服务器的cpu统计图： 可以看到，CPU总使用率不高，平均1.3%，max到5.6%，虽然大部分都耗在了iowait上，但才百分之五左右，应该还没到瓶颈吧？？？ 错了！这里要特别注意：iowait≠IO负载，要看真实的IO负载情况，一般使用iostat –x 命令： $ iostat –x 1 avg-cpu: %user %nice %system %iow ...
原文：http://www.zhdba.com/mysqlops/2012/06/11/mysql-innodb-buffer-pool-flush-list/
Buffer Pool Flush List
add page to flush list
buffer pool中的page，有三种状态：
l free： 当前page未被使用
l clean： 当前page被使用，对应于数据文件中的一个页面，但是页面未被修改
l dirty： 当前page被使用，对应于数据文件中的一个页面，同时页面被修改
free类型的page，一定位于bu ...
http://javanlu.github.io/blog/2013/11/01/getting-started-with-storm-summary-navigation/
趁着使用Storm的热情，将 Getting Started With Storm 翻译了一下。本人水平有限，如果对某些概念和原理理解错误，请批评指正，切勿打脸。现将译文汇总：
第一章 基础
第二章 入门实例
第三章 Topologies
第四章 Spouts
log4j问题总结-加载配置文件
- 博客分类：
- 问题
今天遇到log4j的log4j.properties没有生效，最后发现一个小错误：
-Dlog4j.configuration=/home/yunpeng/log4j.properties #错误
-Dlog4j.configuration=File:/home/yunpeng/log4j.properties
logback配置手册
- 博客分类：
- logback
下面是项目新增sentry的logback配置
<configuration>
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>
%date{HH:mm:ss} [%thread] %-5level %logger{36} - %msg \(%file:%line\)%n</pattern& ...
安装MySQL-python问题解决
- 博客分类：
- Linux
今天在centos安装MySQL-python，结果报错，报错信息如下：
Running command /home/yunpeng.jiangyp/sys/python/bin/python -c "import setuptools;__file__='/home/admin/jyp/build/MySQL-python/setup.py';exec(compile(open(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --single-version-externa ...
curl POST提交
- 博客分类：
- Linux
curl POST提交的例子：
curl "localhost:7001/chart" -d 'chart_config={"params":[{"multiCharts":false,"valueDivisor":"metric","valueExps":"sum","chartDivisor":"collectPoint"}]}&embedded=true&query_params={&quo ...
原文：http://blog.csdn.net/derekjiang/article/details/9126185
Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话，那么应该毕竟容易理解Trident，因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, functions, 以及 filters等能力。除此之外，Trident 还提 ...
TCP 协议介绍(三次握手，滑动窗口)
- 博客分类：
- TCP
http://condor.depaul.edu/jkristof/technotes/tcp.html
The Transmission Control Protocol
Abstract
It is important to understand TCP if one is to understand the historic, current and future architecture of the Internet protocols. Most applications on the Internet make use of TCP, relying upon it ...
通过sar查看网卡流量
- 博客分类：
- Linux
这个工具RHEL5自带有，默认也安装。
一个强大的工具（好像这些工具都蛮强的），参数很多，有时间man一下。
-n参数很有用，他有6个不同的开关：DEV | EDEV | NFS | NFSD | SOCK | ALL 。DEV显示网络接口信息，EDEV显示关于网络错误的统计数据，NFS统计活动的NFS客户端的信息，NFSD统计NFS服务器的信息，SOCK显示套 接字信息，ALL显示所有5个开关。它们可以单独或者一起使用。我们现在要用的就是-n DEV了。
输入命令：sar -n DEV 1 4
一个诡异的类冲突错误排查记录
- 博客分类：
- 问题
今天遇到一个问题排查了很久，记录一下。
问题原因，日常环境的某个topology一直无法正常运行，查看日志又没有异常日志打印。现在是一段code:
logger.info("===========supplier.update!============== feedsCount=" + feedsCount);
try {
supplier.update(configs);
logger.info("successfully update, totally {} feeds from {} supplier configs, path={ ...
Percona-Server安装记录
- 博客分类：
- mysql
本文档记录安装Percona-Server开发环境，非生产环境使用
1.下载Percona-Server-5.5.38-rel35.2-674.Linux.x86_64.tar.gz
下载地址
http://www.percona.com/downloads/Percona-Server-5.5/Percona-Server-5.5.38-35.2/binary/tarball/
2. 执行安装脚本
cd script
./mysql_install_db --user=admin --basedir=/home/admin/jyp/mysql --datadir=/h ...
再谈KeepAlive
- 博客分类：
- TCP
为什么要有KeepAlive？
在谈KeepAlive之前，我们先来了解下简单TCP知识(知识很简单，高手直接忽略)。首先要明确的是在TCP层是没有“请求”一说的，经常听到在TCP层发送一个请求，这种说法是错误的。TCP是一种通信的方式，“请求”一词是事务上的概念，HTTP协议是一种事务协议，如果说发送一个HTTP请求，这种说法就没有问题。也经常听到面试官反馈有些面试运维的同学，基本的TCP三次握手的概念不清楚， 面试官问TCP是如何建立链接，面试者上来就说，假如我是客户端我发送一个请求给服务端，服务端发送一个请求给我。。。这种一听就知道对TCP基本概念不清楚。下面是我通过wireshark ...
Storm 概念梳理
- 博客分类：
- storm
Storm 概念梳理
刚接触storm，梳理了一些概念性的东西，对于 storm 中提到的一些名词做一些解释，重点在于搞清楚 storm 中很多组件设置的并发度，在实际的运行时是怎么体现出来的，另外对于设置 Stream 和 tuple 的 Grouping 方式相对于已有的文档，做了一些补充，这个对于写程序时设置Topology时会有帮助，有理解的不对的地方，欢迎指正。
1. storm
Storm是一个分布式实时
参考两个PPT
http://www.slideshare.net/cnbailey/memory-efficient-javahttp://www.cs.virginia.edu/kim/publicity/pldi09tutorials/memory-efficient-java-tutorial.pdf
原文： 沐剑
Java程序员在编码过程中通常不需要考虑内存问题，JVM经过高度优化的GC机