marsorp
- 浏览: 218956 次
- 性别:
- 来自: 北京
-
最新评论
-
javalogo：
[b][i][u]引用[list]
[*][*][flash= ...
什么是Flume -
leibnitz：
what are they meanings
Hadoop Ganglia Metric Item -
di1984HIT：
没用过啊。
akka 介绍-Actor 基础 -
di1984HIT：
写的不错。
Hadoop管理-集群维护 -
developerinit：
很好，基本上介绍了
什么是Flume
文章列表
Actors
Actors 是一个非常轻的并发实例，基于事件驱动的异步信息处理.模式匹配是Actor处理信息的手段。它是对并发、锁、分布系统的高度抽象。你只需要关注工作流。
例子：
package akka.io
import akka.actor.ActorLogging
import akka.actor.Actor
import akka.actor.ActorSystem
import akka.actor.Props
case class Greeting(who: String)
class GreetingActor extends Actor with ActorLo ...
I am getting this Schannel Error 36888 over and over and over again. There NOTHING listed on the help site about it. I have no idea what it is, but my computer is crashing over and over again. I don't know if this is the reason, but it seems to be the most frequent event listed in the event viewer. ...
Please ref:
http://tecadmin.net/install-google-chrome-in-centos-rhel-and-fedora/
Hadoop TestDFSIO
- 博客分类：
- hadoop
@VM
[bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20
Warning: $HADOOP_HOME is deprecated.
TestDFSIO.0.0.4
13/04/21 12:54:47 INFO fs.TestDFSIO: nrFiles = 10
13/04/21 12:54:47 INFO fs.TestDFSIO: fileSize (MB) = 20
13/04/21 12:54:47 INFO f ...
Hadoop NNBENCH
- 博客分类：
- hadoop
@VM
[bigdata@bigdata hadoop]$ cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 13
model name : QEMU Virtual CPU version (cpu64-rhel6)
stepping : 3
cpu MHz : 1995.223
cache size : 4096 KB
fpu : yes
fpu_exception : yes
cpuid level : 4
wp : yes
flags : fpu d ...
“大数据元年”，今年媒体上一直宣称，我们公司的销售也是一直把这句话挂在嘴边。
我个人觉得，是相关处理工具发展到一定阶段的产物，同时也是市场的需要。
今年的大数据项目比较多，客户总是要往云上靠，要是没有靠上，就会觉得自己Out了。
总之，数据的金矿随着时间的推移，从特殊到一般发展，从高端到低端发展，从大企业到小企业发展。
扯了这么多，要说什么呢？
首先，大数据从那里来？
1.日志，如Apache logs
2.应用生成的数据文件,如摄像头采集下来的数据
1）各种采集器
3.社交类网站的交互数据
1）可以作为舆情的数据来源
4.运营商产生
...
Hadoop 安装手册
- 博客分类：
- hadoop
Hadoop 安装手册
软件准备
a) CentOS6.2 b4bit ,需要安装 DEV 包,分区采用基本分区方式、关闭防
火墙、关闭 SELinux
b) Oracle Javase 1.6.37 64bit(JDK)
c) Hadoop1.0.4,从 http://hadoop.apache.org 下载
硬件规划
a) NameNode 采用高可靠性 X86 64 服务器,内存建议 64G 以上,CPU
4core
Unable to launch VNCServer due to fontpath issues on CentOS 6
When trying out VNCServer on both CentOS 6.2 and CentOS 6.3
$ vncserver
WARNING: The first attempt to start Xvnc failed, possibly because the font
catalog is not properly configured. Attempting to determine an appropriate
font path for ...
转发自:http://www.blogjava.net/hello-yun/archive/2012/04/27/376744.html
在足球比赛里，一个球员在一场比赛中进三个球，称之为帽子戏法(Hat-trick)。在分布式数据系统中，也有一个帽子原理(CAP Theorem)，不过此帽子非彼帽子。CAP原理中，有三个要素：
一致性(Consistency)
可用性(Availability)
分区容忍性(Partition tolerance)
CAP原理指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是 ...
http://www.cnblogs.com/hhuai/archive/2011/02/12/1952647.html
1。决定Mapper的输出到那个Reducer,是由Partition决定的
2。Reducer接收到的key都是排序好的