wang吖
- 浏览: 240001 次
- 性别:
- 来自: 北京
-
最新评论
-
haoxuexi87：
【学途无忧网】Hive详解及实战课程学习地址：http://w ...
HIve实战分析Hadoop的日志 -
genan：
示例简单易懂，感谢LZ分享
设计模式之观察者模式学习笔记 -
ln_software：
Java中RandomStringUtils工具类 -
Scorpio921：
wang吖 写道该问题已经解决，由于多线程并发，链接SFTP的 ...
com.jcraft.jsch.JSchException: channel is not opened.求解决方案 -
siophy：
楼主没有续作吗？没感觉到分析功能的存在，只看到了数据的迁移
HIve实战分析Hadoop的日志
文章列表
正确理解Java中的多线程多Synchronized对我们学习多线程编程非常重要，下面的测试程序阐述了Java对象锁的特性，例子如下
Coding：
/**
* 该例子程序是为了理解Java线程里面提供的同步关键字 synchronized 对象锁 synchronized
* 获取的是对象锁，我们可以理解为对象的锁就一把，一旦一根线程获取之后另外一根线程就只能等待 以下的模拟是：
*
* 当一根线程进入一个对象的synchrozied方法之后，另外的线程将无法同时在进入该
* 对象其它的synchronized方法，但是可以进入该对象的其它非synchron ...
本文标题没有实际含义，看看实例, （本文为转载 …………）
String 字符串常量
StringBuffer 字符串变量（线程安全）
StringBuilder 字符串变量（非线程安全） 简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改变内容的字符串最好不要用 String ，因为每次生成对象都会对系统性能产生影响，特别当内存中无引用对象多了以后， JVM 的 G ...
集合是编程中最常用的数据结构。而谈到并发，几乎总是离不开集合这类高级数据结构的支持。比如两个线程需要同时访问一个中间临界区（Queue），比如常会用缓存作为外部文件的副本（HashMap）。这篇文章主要分析jdk1.5的3种 ...
http://lvwenwen.iteye.com/blog/1781980
大家好！欢迎大家加入:(141570425)吖大哥QQ技术交流群，在这
你可以将你的Hadoop领域的相关经验分享给大家，该群也会为大家免费分享很多关于Hadoop领域的技术文档、视频、资料及在线技术探讨会，期待你的加入！！！
http://yunpan.cn/QipHycMQIwWIS 访问密码 19d7
由于360云盘近期整改，貌似暂时不能分享过大的视频文件，有需要资料的朋友们可以加入群索要资料及视频教程……
一、概述
ThreadLocal是什么呢？其实ThreadLocal并非是一个线程的本地实现版本，它并不是一个Thread，而是threadlocalvariable(线程局部变量)。也许把它命名为ThreadLocalVar更加合适。线程局部变量(ThreadLocal)其实的功用非常简单，就是为每一个使用该变量的线程都提供一个变量值的副本，是Java中一种较为特殊的线程绑定机制，是每一个线程都可以独立地改变自己的副本，而不会和其它线程的副本冲突。
从线程的角度看，每个线程都保持一个对其线程局部变量副本的隐式引用，只要线程是活动的并且 ThreadLocal 实例是可访问的；在线程 ...
对于多线程程序来说，不管任何编程语言，生产者和消费者模型都是最经典的。就像学习每一门编程语言一样，Hello World！都是最经典的例子。实际上，准确说应该是“生产者-消费者-仓储”模型，离开了仓储，生产者消费者模型就显得没有说服力了，利用前面说过的堵塞栈实现该模式异常简洁。对于此模型，应该明确一下几点：1、生产者仅仅在仓储未满时候生产，仓满则停止生产。2、消费者仅仅在仓储有产品时候才能消费，仓空则等待。
对于阻塞栈，与阻塞队列相似。不同点在于栈是“后入先出”的结构，每次操作的是栈顶，而队列是“先进先出”的结构，每次操作的是队列头。这里要特别说明一点的是，阻塞栈是Java6的新特征。、Java为阻塞栈定义了接口：java.util.concurrent.BlockingDeque，其实现类也比较多，具体可以查看JavaAPI文档。下面看一个简单例子：
/**
* 阻塞栈
*
* @author 吖大哥
*
*/
public cla
阻塞队列是Java5线程新特征中的内容，Java定义了阻塞队列的接口java.util.concurrent.BlockingQueue，阻塞队列的概念是，一个指定长度的队列，如果队列满了，添加新元素的操作会被阻塞等待，直到有空位为止。同样，当队列为空时候，请求队列元素的操作同样会阻塞等待，直到有可用元素为止。有了这样的功能，就为多线程的排队等候的模型实现开辟了便捷通道，非常有用。java.util.concurrent.BlockingQueue继承了java.util.Queue接口，可以参看API文档。
简介信号量(Semaphore)，有时被称为信号灯，是在多线程环境下使用的一种设施, 它负责协调各个线程, 以保证它们能够正确、合理的使用公共资源。
概念Semaphore分为单值和多值两种，前者只能被一个线程获得，后者可以被若干个线程获得。
以一个停车场运作为例。为了简单起见，假设停车场只有三个车位，一开始三个车位都是空的。这时如果同时来了五辆车，看门人允许其中三辆不受阻碍的进入，然后放下车拦，剩下的车则必须在入口等待，此后来的车也都不得不在入口处等待。这时，有一辆车离开停车场，看门人得知后，打开车拦，放入一辆，如果又离开两辆，则又可以放入两辆，如此往复。
在这个停车场系统中，车位是公 ...
在上文中提到了Lock接口以及对象，使用它，很优雅的控制了竞争资源的安全访问，但是这种锁不区分读写，称这种锁为普通锁。为了提高性能，Java提供了读写锁，在读的地方使用读锁，在写的地方使用写锁，灵活控制，在一定程度上提高了程序的执行效率。Java中读写锁有个接口java.util.concurrent.locks.ReadWriteLock，也有具体的实现ReentrantReadWriteLock，详细的API可以查看JavaAPI文档。下面这个例子是在文例子的基础上，将普通锁改为读写锁，并添加账户余额查询的功能，代码如下：
import java.util.concurrent.Exe ...
在Java5中，专门提供了锁对象，利用锁可以方便的实现资源的封锁，用来控制对竞争资源并发访问的控制，这些内容主要集中在java.util.concurrent.locks 包下面，里面有三个重要的接口Condition、Lock、ReadWriteLock。
Condition: Condition 将 Object 监视器方法（wait、notify 和 notifyAll）分解成截然不同的对象，以便通过将这些对象与任意 Lock 实现组合使用，为每个对象提供多个等待 set （wait-set）。
Lock: Lock 实现提供了比使用 synchronized 方法和语句可获 ...
在Java5之前，线程是没有返回值的，常常为了“有”返回值，破费周折，而且代码很不好写。或者干脆绕过这道坎，走别的路了。现在Java终于有可返回值的任务（也可以叫做线程）了。可返回值的任务必须实现Callable接口，类似的，无返回值的任务必须Runnable接口。执行Callable任务后，可以获取一个Future的对象，在该对象上调用get就可以获取到Callable任务返回的Object了。
Sun在Java5中，对Java线程的类库做了大量的扩展，其中线程池就是Java5的新特征之一，除了线程池之外，还有很多多线程相关的内容，为多线程的编程带来了极大便利。为了编写高效稳定可靠的多线程程序，线程部分的新增内容显 ...
Hadoop的版本更新实在太快啦！！！
最新版本连接：
http://hadoop.apache.org/releases.html#07+April%2C+2014%3A+Release+2.4.0+available
安装指导手册：
http://www.aboutyun.com/thread-7648-1-1.html
1、日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示:
2013-03-06 15:23:48,132 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = ubuntu/1 ...