`
文章列表

hadoop作业调优参数整理及原理

文章出处：http://www.alidata.org/archives/1470 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer in memory），map会将已经产生的部分结果先写入到该buffer中，这个buf ...

java 从jar包中读取资源文件

 在代码中读取一些资源文件(比如图片，音乐，文本等等)，在集成环境(Eclipse)中运行的时候没有问题。但当打包成一个可执行的jar包（将资源文件一并打包）以后，这些资源文件找不到，如下代码：Java代码   [java] view plaincopy  

linux 给文件夹赋予其他用户权限

    chown user [文件夹] chmod 777 [文件夹]

Linux下rz，sz与ssh的配合使用

Linux下rz，sz与ssh的配合使用 一般来说，linux服务器大多是通过ssh客户端来进行远程的登陆和管理的，使用ssh登陆linux主机以后，如何能够快速的和本地机器进行文件的交互呢，也就是上传和下载文件到服务器和本地；   与ssh有关的两个命令可以提供很方便的操作：   sz：将选定的文件发送（send）到本地机器    rz：运行该命令会弹出一个文件选择窗口，从本地选择文件上传到服务器(receive) rz 本身不会覆盖已存在的文  件，要覆盖已存在的文件需加 rz -ye         rz，sz是便是Linux/Unix同

storm ui 参数详解

Storm UI 本文主要解释下storm ui上各项属性的含义。 1. mainpage     首页主要分为3块:     a. Cluster Summary     Nimbus uptime: nimbus的启动时间     Supervisors: storm集群中supervisor的数目     used slots: 使用了的slots数     free slots: 剩余的slots数     total slots: 总的slots数     Running tasks: 运行的任务数     b. topology summary     Na ...

casandra 环境搭建

cassandra集群环境搭建   老实说，虽然cassandra在业界不是很受待见，但是但从使用上来看，cassandra还是挺简单的，本次测试环境仍然是UBUNTU，集群中最简单的使用了2个节点。 首先安装java，这个可以参考我之前的博客：Ubuntu 11.04上安装jdk1.6+oracle 11g笔记 。一系列各种JAVA_HOME什么的配置完之后，应该可以看到这个 ~$ java -version java version

程序员在linux下有用的终端命令

程序员在linux下有用的终端命令 分类： linux2012-08-17 11:42 748人阅读 评论(0) 收藏 举报 终端

Tenured 区并发垃圾回收器CMS介绍

    博客分类：
  • jvm
  Tenured 区并发垃圾回收器CMS介绍 分类： Java2014-01-16 14:46 248人阅读 评论(0) 收藏 举报

storm配置详解

配置项详解: 以下是从storm的config类中搜集的所有storm支持的配置项(Based storm 0.6.0): 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|local]) storm.local.mode.zmq ...

GC 日志分析

    博客分类：
  • jvm
GC 日志分析 打印gc log的详细信息  Java代码   set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms512m -Xmx1024m -XX:+PrintGCDetails   或 引用 set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms512m -Xmx1024m -verbose:gc -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError  如果真是内存泄漏，系 ...

Java同步锁之小应用

只对同步锁的相关概念做了简单阐述，没给出应用实例。本文，将结合现实中对于同步锁的需求，编个小例子。标题比较大，而实例并不一定十分恰当，请各位见谅。   需求: 一个消费者在不停的从queue里取消息，当没有消息时，阻塞等待，直到有消息来时，消费它。   简析: 乍一看，我们完全可以写个循环不断的去读它(queue)，直到该queue不再empty，则消费一条消息(ps: 设个标志位， 循环去读，同理)。可是，无限的循环不仅有可能浪费资源，而且如果额外想设个timeout的话，还要多写好多代码，如需要取当前时间，进行比对等等。这时，如果我们使用wait（）或wait(int timeo ...

Thread详解四(线程池）

  Thread详解四(线程池） 分类： 读书笔记之java2012-12-05 04:43 462人阅读 评论(0) 收藏 举报 线程池可以解决两个不同问题：由于减少了每个任务调用的开销，它们通常可以在执行大量异步任务时提供增强的性能，并且还可 ...

Thread详解三（高性能的同步）

  Thread详解三（高性能的同步） 分类： 读书笔记之java2012-12-04 14:03 287人阅读 评论(0) 收藏 举报 1，java.util.concurrent.locks Lock对象的作用和隐形锁synchronized作用类似。也是同一时间只能有一个线程获取锁。Lock对象同样支持wait/notify机制，它是通过Condition

Thread详解一（interrupt）

  Thread详解一（interrupt） 分类： 读书笔记之java2012-12-02 01:34 1515人阅读 评论(0) 收藏 举报

Thread详解（互斥和协作）

  Thread详解二（互斥和协作） 分类： 读书笔记之java2012-12-02 03:28 330人阅读 评论(0) 收藏 举报 Java Monitor 从两个方面来支持线程之间的同步，即：互斥执行与协作。 Java 使用对象锁 ( 使用 synchronized 获得对象锁 ) 保证工 ...
Global site tag (gtag.js) - Google Analytics