zhangxiong0301
- 浏览: 359867 次
-
最新评论
-
jfeifjlafekae：
另外，为什么存储日志会有拆分过程，而不是rotation方式？ ...
HBASE数据架构 -
jfeifjlafekae：
“当然，数据刷写时，一个Region只要有一个列族的memSt ...
HBASE数据架构 -
hmc52107521：
你好，params.keys，params.values以及# ...
mybatis中使用map类型参数，其中key为列名，value为列值 -
zhangxiong0301：
qindongliang1922 写道AM中其它与内存相关的参 ...
（转）YARN内存配置 -
qindongliang1922：
AM中其它与内存相关的参数，还有JVM相关的参数，这些参数可以 ...
（转）YARN内存配置
文章列表
编译的是 CDH5.3.0版本的spark，跟我们现在的hadoop（HADOOP-2.5.0-CDH5.3.0）集群匹配 ，下载地址：http://archive.cloudera.com/cdh5/cdh/5/
1.准备MAVEN，这是必须的，当然机器要能联网，以便MAVEN可以在线下载依赖的jar包。装maven就是下载和配 ...
1. Hadoop 1.0中的资源管理方案
Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker ...
Hugepages是从Linux kernal 2.6后被引入的，其目的是使用更大的memory page size以适应越来越大的系统内存。在我上大学那会，买一条64M 133Mhz的内存（对，你没看错，64M）价格为500多人民币，而现在4G 1600Mhz的内存的价格也就500多。计算 ...
记录一次编译hadoop2.5的源码并导入eclipse java 工程，采用的是cdh5.3.0版本的hadoop，操作环境是ubuntu14.10。具体步骤如下:
一、准备环境
编译hadoop需要很多依赖环境，这可以在下载下来的hadoop文件夹下的src目录下察看BUILDING.txt文件里看到。该文件不但列出了依赖的工具和库，还有简单的编译步骤说明。在装完这些依赖环境后，别忘了重启系统。
1. protocol buffer 2.5.0：这个是google的序列化工具，由于google关闭中国市场，自然protocolbuf也就没法在google的官网上下载，可以 ...
Redis setup hints
We suggest deploying Redis using the Linux operating system. Redis is also tested heavily on osx, and tested from time to time on FreeBSD and OpenBSD systems. However Linux is where we do all the major stress testing, and where most production deployments are working.
Make sure ...
一. 内存使用说明
Free 命令相对于top 提供了更简洁的查看系统内存使用情况：
[root@rac1 ~]# free
total used free shared buffers cached
Mem:
/etc/fstab 文件解释
文件fstab包含了你的电脑上的存储设备及其文件系统的信息。它是决定一个硬盘（分区）被怎样使用或者说整合到整个系统中的唯一文件。
这个文件的全路径是/etc/fstab。它只是一个文本文件，你能够用你喜欢的编辑器打开它，但是必须是root用户才能编辑它。同时fsck、mount、umount的等命令都利用该程序。
具体来说：用fstab可以自动挂载各种文件系统格式的硬盘、分区、可移动设备和远程设备等。对于Windows与arch双操作系统用户，用fstab挂载FAT格式和NTFS格式的分区，可以在Linux中共享windows系统下的资源。
fstab ...
HADOOP OS部分优化
- 博客分类：
- HADOOP
open file descriptors and files
文件描述符是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开，文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。
在Linux系列的操作系统上，由于Linux的设计思想便是把一切设备都视作文件。因此，文件描述符为在该系列平台上进行设备相关的编程实际上提供了一个统一的方法。
在CentOS中通过下面的命令查看：
cat /proc/sys/fs/ ...
HADOOP 机架感知
- 博客分类：
- HADOOP
Hadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。
具体到Hadoop集群，由于Hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个副本(默认为3)，并且为了数据的安全和高效，所以Hadoop默认对3个副本的存放策略为：在本地机器的hdfs目录下存储一个block 在另外一个r ...
典型的，提供大量静态文件访问的web服务器，缓存服务器（如squid）, 均要注意这个问题
网上的教程，大约只是简单说明了如何设置ulimit和file-max, 但并没有说清楚这两者之间的差别，让人一头雾水
1. file-max的含义
man proc，可得到file-max的描述：
/proc/sys/fs/file-max This file defines a system-wide limit on the number of open files for all processes. (See also ...
说Transparent Huge Pages之前，首先说说Huge Pages。
一般而言，内存管理的最小块级单位叫做page，一个page是4096bytes，1M的内存会有256个page，1GB的话就会有256,000个page。CPU通过内置的内存管理单元维护着page表记录。
正常来说，有两种方式来增加内存可以管理的内存大小：
1.增大硬件内存管理单元的大小。
2.增大page的大小。
第一个方法不是很现实，现代的硬件内存管理单元最多只支持数百到上千的page表记录，并且，对于数百万page表记录的维护算法必将与目前的数百条记录的维护算法大不相同才能保证性能，目 ...
源地址：https://perf.wiki.kernel.org/index.php/Tutorial#Live_analysis_with_perf_top
Introduction
Perf is a profiler tool for Linux 2.6+ based systems that abstracts away CPU hardware differences in Linux performance measurements and presents a simple commandline interface. Perf is based on the perf_ev ...
The memory management unit in almost any contemporary processor can handle multiple page sizes, but the Linux kernel almost always restricts itself to just the smallest of those sizes - 4096 bytes on most architectures. Pages which are larger than that minimum - collectively called "huge pages& ...
当你同熟练的UNIX用户进行交谈时，你经常会听到他们傲慢地讲出术语“改变时间(change time)”和“修改时间(modification time)”。对于许多人(和许多字典而言),改变和修改是相同的。这里会有什么不同那？
改变和修改之间的区别在于是改某个组件的标签还是更改它的内容。如果有人说chmod a-w myfile,那么这是一个改变；如果有人说echo foo >> myfile,那么 这是一个修改。改变是文件的索引节点发生了改变；修改是文本本身的内容发生了变化。[文件的修改时间也叫时间标志 (timestamp).] 只要讨论改变时间和修改时间，就 ...