pengpeng
- 浏览: 84963 次
- 性别:
- 来自: 杭州
-
最新评论
-
thrillerzw：
请问danga是根据服务器String[] servers 数 ...
memcache客户端的分布式算法 -
lingqi1818：
写出来没？
[读书计划] -
deepfuture：
不错不错不错
[读书计划] -
always-missing：
...
最近读书 -
deepfuture：
不看实现，实在很可惜，不能让你上升一个层次，建立你安装一下FR ...
读书计划
文章列表
1. hadoop概念
Provide easy but general model for programmers to use cluster resources
Hide network communication (i.e. RPCs)
Hide storage details, file chunks are automatically distributed and replicated
Provide transparent fault tolerance
Failed tasks are automatically resche ...
随着Web 2.0技术的迅速发展，许多公司都开发了一些基于Web的网站服务，通常在设计开发Web应用系统的时候很难模拟出大量用户同时访问系统的实际情况，因此，当Web网站遇到访问高峰时，容易发生服务器响应速度变慢甚至 ...
hadoop namenode -format
start-all.sh
hadoop dfs -mkdir input
hadoop fs -ls
hadoop dfs -rmr output/
hadoop dfs -copyFromLocal ./conf/* input/
hadoop jar hadoop-0.20.2-examples.jar wordcount input output
hadoop fs -ls output
hadoop fs cat output/partxxxx
hadoop jar inception.jar com.alibaba ...
hbase 的并发读写是比较差得；原因如下：
1>顺序存储结构，而且一个机器只有一个HRegionServer来提供RPC服务；多线程写数据时：多个线程有可能会路由到同一个RegionServer上，导致竞争服务的现象；没有分布式的优势；
2>r如果内存中的memstore大于flush.size就会写到磁盘，如果磁盘文件大于filesize，就会split,如果文件数超过compactionThreshold就要进行压缩，如果压缩后文件大于filesize，还要split;
查找工具：jstack ; lsof -p ;
Q4加上过年实现将《linux内核设计与实现》2ed 和《TCP/IP详解》读完了。 都解答了我很多问题。受益非浅。
计划Q1将《软件随想录》和《unix环境高级编程》读完。
计划要好好写写分享，不然光读不练，知识沉淀不下来。
上一篇介绍了所有的I/O模型，这篇介绍一下现在流行的web server是如何利用I/O模型达到高并发，高性能的服务器的。
0 . 知识回顾
从前几篇介绍，我们知道操作系统内核给我们提供了好几种I/O模型，这样我们的应用程序不用阻塞在read/write这些系统调用，而是阻塞在select/poll/epoll.当然这些系统调用帮我们检测大量的fd是否就绪，并提供非阻塞调用模式。
由于AIO模型linux 2.6内核才支持，还没有大量流行起来。 所以包括jdk 1.6 ,以及一些流行的web服务器apache,lighttpd,jetty,都是利用的是epol ...
从上篇文章的介绍（见：http://pengpeng.iteye.com/blog/875520）我们知道linux内核根据TCP/IP网络模型，给我们隐藏了传输层以下的网络传输细节，我们的网络应用程序只需要针对socket编程即可。这篇我们立足网络数据包的I/O ...
0. 内存基本知识
我们通常称 linux的内存子系统为：虚拟内存子系统(virtual memory system)，为何这样称谓呢？
其实这个是个很牛的设计。linux充分利用了程序的局部性原理，结合线性地址的概念（虚拟地址）使得运行于操作系统上的每个进程都可以使用所有用户空间主存。而且虚拟内存还解决了内存不连续和碎片的问题（因为在程序来说线性地址都是连续的）；每个进程都有各自的页表，虚拟地址空间都各自独立，互补干扰；
那么我们的程序里申请的内存的时候，linux内核其实只分配一个虚拟内存（ 线性地址），并没有分配实际的物理内存。 ...
本篇从基于TCP/IP协议出发，探讨现代流行的应对高并发请求网络服务端设计架构；
1. TCP/IP 模型
首先回顾一下TCP/IP模型，并知道各个层次在操作系统的哪一个层次；
看上图， ...
从上篇文章的介绍我们知道linux内核根据TCP/IP网络模型，给我们隐藏了传输层以下的网络传输细节，我们的网络应用程序只需要针对socket编程即可。这篇我们立足网络数据包的I/O。谈谈linux的一些I/O知识。
1. 基础知 ...
《梦断代码》 以作者正在做的项目入手，开篇既以一副悲观态度铺面而来的大幅篇章介绍软件的复杂性，“软件难做”；作者慢慢以曾经参加过的一个大项目入手，从中可以体会到软件管理，设计，开发，市场的分析；详细的项目描述，好像一本软件发展史诗；让读者充分的了解到计算机软件发的历程，以及在不断复杂的软件开发；但是通读全书给我的感觉却并没有悲观，软件不如硬件发展的快，但是人们还在继续努力；个中体味，只有读了才知道。
《UNIX网络编程 卷1：套接字联网API》这本书快看完了，我跳过了SCTP的篇章。着重看了tcp.udp编程，以及高并发服务器网络编程； 这本书将繁 ...
jinfo:可以输出并修改运行时的java 进程的opts。jps:与unix上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。jstat:一个极强的监视VM内存工具。可以用来监视VM内存内的各种堆和非堆的大小 ...
memcached特点协议简单基于libevent的事件处理内置内存管理memcached不互相通信的分布式交互过程memcached 的客户端使用TCP链接 与 服务器通讯。（UDP接口也同样有效，参考后文的 ;UDP协议 ）一个运行中的memcached服务器监视一些（可设置）端口。客户端连接这些端口，发送命令到服务器，读取回应，最后关闭连接。鼓励客户端缓存这些连接，而不是每次需要 存取数据时都重新打开连接。这是因为memcached 被特意设计成及时开启很多连接也能够高效的工作（数百个，上千个如果需要的话）。缓存这些连接，可以消除建立连接所带来的开销（/*/相对而言，在服务器 端建立一个新 ...
性能衡量指标：
web server端：
DB：
JDK：
操作系统：
硬件：
ab 和 nmon工具；
性能优化是一个长效的工作； 对于我们互联网网站来说，我们站在用户体验的角度出发，有这几个指标来衡量性能：
1. 服务器平均请求 ...
mapper
public class OfferMapper extends TableMapper<Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
/**
* rowkey,value,context
*/
public void map(ImmutableBytesWritable k ...