myhadoop
- 浏览: 155544 次
-
最新评论
-
cldtc：
您好，想请教一个问题，using python脚本的时候怎样打 ...
Hadoop Hive sql语法详解5--HiveQL与SQL区别
文章列表
共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。4.Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。5.Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻 ...
Hadoop学习总结
- 博客分类：
- Hadoop
Hadoop是什么东西？什么用？ （一） Hadoop是什么？ 一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设 ...
memcached是一款非常优秀的分布式缓存工具，有效提升了按主键检索数据的性能问题。而simple-spring-memcached组件通过与spring框架整合，让memcached的调用变得更加简单。simple-spring-memcached本质上是采用了AOP的方式来实现缓存的调用和管理，其核心组件声明了一些Advice，当遇到相应的切入点时，会执行这些Advice来对memcached加以管理。切入点是通过标签的方式来进行声明的，在项目开发时，通常在DAO的方法上加以相应的标签描述，来表示组件对该方法的拦截组件所提供的切入点主要包括以下几种：ReadThroughSingleCa ...
由于工作需要，2年前开始接触分布式的缓存 -- memcache。2年过去了，memcahce也发展了不少，同时也出现许多新星--TT、redis。但万变不离其宗，现将心得总结如下。
先说最早的memcache
这个东西感觉就是个BDB的内存版，就因为是纯内存的程序，所以性能异常的高。现在好像有自己的主页了（http://memcached.org/），记得最早的时候就是danga的个人主页，而且除了一个readme之外就没什么资料了，不过现在这个东西已经遍地开花了。
关于这个东西里面到底应该存放数据网上一直有很多种说法，有的说sql进行md5之后作为键 ...
AWK命令详解（大全）
- 博客分类：
- Linux
什么是awk? 你可能对UNIX比较熟悉，但你可能对awk很陌生，这一点也不奇怪，的确，与其优秀的功能相比，awk还远没达到它应有的知名度。awk是什么？与其它大多数UNIX命令不同的是，从名字上看，我们不可能知道awk的功能：它既 ...
不知道是第几次看thinking in java了。不是的翻翻总有新的收获。
堆栈
静态存储区域
一个由C/C++编译的程序占用的内存分为以下几个部分
1、栈区（stack）— 由编译器自动分配释放 ，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈。
2、堆区（heap）— 由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式倒是类似于链表。
3、全局区（静态区）（static）— 全局变量和静态变量的存储是放在一块的，初始化的全局变量和静态变量在一块区域，
原文: http://forum.javaeye.com/viewtopic.php?t=17912搂主的问题问的含含糊糊:flyjie给出了非常详细的解释，不过就是没有解释String实例化的特殊方面以及Intern()方法的含义-------------------------------------------------------------------------------------------------------------------------------------------------------------------------java代码: String ...
java的字符串常量池（转）
- 博客分类：
- Java
http://www.cnblogs.com/brokencode/archive/2011/08/24/2151450.html
test1：
package StringTest;public class test1 {
在UML类图中，常见的有以下几种关系: 泛化（Generalization）, 实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency)
1. 泛化（Generalization）
【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特化父类的所有特征和行为。例如：老虎是动物的一种，即有老虎的特性也有动物的共性。
【箭头指向】：带三角箭头的实线，箭头指向父类
2. 实现（Realization）
...
UML类图关系大全
1、关联双向关联：C1-C2：指双方都知道对方的存在，都可以调用对方的公共属性和方法。在GOF的设计模式书上是这样描述的：虽然在分析阶段这种关系是适用的，但我们觉得它对于描述设计模式内的类关系来说显得太抽象了，因为在设计阶段关联关系必须被映射为对象引用或指针。对象引用本身就是有向的，更适合表达我们所讨论的那种关系。所以这种关系在设计的时候比较少用到，关联一般都是有向的。使用ROSE 生成的代码是这样的：
class C1 ...{public: C2* theC2;
ZooKeeper实现分布式队列Queue
让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。
现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单地放几个web应用，显然是奢侈的浪费。就算是用来实现单节点的hadoop，对计算资源浪费也是非常高的。对于这么高性能的计算机，如何有效利用计算资源，就成为成本控制的一项重要议题了。
通过虚拟化技术，我们可以将一台服务器，拆分成12台VPS，每台2核CPU，4G内存，40G硬盘 ...
ZooKeeper编程
杂记
ZooKeeper的用途：distributed coordination;maintaining configuration information, naming, providing distributed synchronization, and providing group services.
Zookeeper的节点都是存放在内存中的，所以读写速度很快。更新日志被记录到了磁盘中，以便用于恢复数据。在更新内在中节点数之前，会先序列化到磁盘中。
为避免单点失效，zookeeper的数据是在多个server上留有备份的。不管客户端连接到 ...
[转载]作者和原文链接,
场景描述
在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问.本文将介绍如何利用zookeeper实现分布式锁.
思路
进程需要访问共享数据时, 就在"/locks"节点下创建一个sequence类型的子节点, 称为thisPath. 当thisPath在所有子节点中最小时, 说明该进程获得了锁. 进程获得锁之后, 就可以访问共享资源了. 访问完成后, 需要将thisPath删除. 锁由新的最小的子节点 ...
在Java多线程应用中，队列的使用率很高，多数生产消费模型的首选数据结构就是队列。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，在实际应用中要根据实际需要选用阻塞队列或者非阻塞队列。
注：什么叫线程安全？这个首先要明确。线程安全就是说多线程访问同一代码，不会产生不确定的结果。
LinkedBlockingQueue由于LinkedBlockingQueue实现是线程安全的，实现了先进先出等特性，是作为生产者消费者的首选，LinkedBlockingQu ...
说明
所有的配置以及软件都是在windows环境下进行的，都是用自己的电脑做服务器。
要解决的问题
在tomcat集群环境下的session共享 、缓存共享、 负载均衡。
解决方案的选择