zcwfeng
- 浏览: 106487 次
- 性别:
- 来自: 吉林
-
最新评论
文章列表
前言
首先，你要搭建好环境，需要npm node 最好使用mac系统，现在Linux和windows也支持。默认我积累用mac系统。
对于这种环境搭建问题，网上很多，相信总结类的博客，应该总结核心，其他细枝末节搜索就好了。
很多地方现在都再用React，个人理解这个混合开发机制以后会大有用武之地，淘宝天猫客户端再用，携程也在用，还有微软也在启用了，有很多人不怎么看好，不爱学，我觉得我既然觉得还好方向也行，那就研究下学习下。
有很多不是很到位，剩余文章欢迎指点批评，评价。今天先写个开篇，接下来继续更新。希望能坚持写完学习的过程。
1.MapR有三种版本，M3（免费版）、M5（含有支持的版本，并启用了所有HA特性）和M7（最近和重写的HBase一起发布），MapR采取了一种与其他供应商不同的方法，它肯定会有属于自己的追随者。
2.hadoop 执行 mapreduce的有几种方式
一、原生态的方式：java 源码编译打包成jar包后，由 hadoop 脚本调度执行
二、基于 MR 的数据流 Like SQL 脚本开发语言：pig
三、构建数据仓库的类 SQL 开发语言：hive
四、跨平台的脚本语言：python
3.hadoop的调优
在job中中间的结果使用压缩，输出数据量大的话也要采用压缩，因为备份有 ...
- 2013-11-02 11:44
- 浏览 457
- 评论(0)
基本MapReduce模式
计数与求和
问题陈述:
有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，给定一个log文件，其中的每条记录都包含一个响应时间， ...
- 2013-11-02 11:34
- 浏览 679
- 评论(0)
现今，大数据和Hadoop在计算机工业里正如暴风骤雨般开展着。从CEO、CIO到开发人员，每个人对其用法都有自己的看法。据Wikipedia所述：
“Apache Hadoop是一个开源的软件框架，它支持数据密集型的分布式应用，许可授权隶属于Apache v2 license.[1] 它使应用程序以拍字节（petabytes） 级数据进行工作，并可以在成千上万台独立的计算机上运行。Hadoop源自于Google的MapReduce 和 Google File System (GFS) 两篇论文。现在通常认为完整的Apache Hadoop‘平台’由Hadoop内核、MapReduce
...
- 2013-11-02 11:30
- 浏览 870
- 评论(0)
第一部分 Hadoop 2.2 下载
Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译。
下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/
如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz.
第二部分 集群环境搭建
1、这里我们搭建一个由三台机器组成的集群：
192.168.0.1 hduser/passwd cloud001 ...
- 2013-10-31 22:30
- 浏览 662
- 评论(0)
批量将指定目录下的所有文件中的$HADOOP_HOME$替换成/home/ocetl/app/hadoop
#!/usr/bin/python
importos
importre
#listfiles
deflistFiles(dirPath):
fileList=[]
forroot,dirs,filesinos.walk(dirPath):
forfileObjinfiles:
fileList.append(os.path.join(root,fileObj))
returnfileList
defmain():
fileDir="/home/ha ...
- 2013-10-31 22:11
- 浏览 753
- 评论(0)
下载 hadoop-2.2.0.tar.gz
tar
-xzvf hadoop-2.2.0.tar.gz
cd
hadoop-2.2.0
vi
etc/hadoop/hadoop-env.sh
修改：
export JAVA_HOME=/usr/local/jdk1.7.0_15
vi
etc/hadoop/slaves
修改localhost为hostmaster
- 2013-10-31 22:01
- 浏览 558
- 评论(0)
正常读取大文件，可能会想到用缓存
如：
package base;
import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingExc ...
- 2013-10-30 13:12
- 浏览 710
- 评论(0)
原文地址
http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。
Hadoop集群部署时有三个角色：Client machines, Master nodes和Slave nodes。
Master nodes负责Hadoo ...
- 2013-10-29 22:35
- 浏览 516
- 评论(0)
一周之后重新启动虚拟机，打开hadoop准备写点东西，结果
jps 只有三个节点启动了
TaskTracker
secondNamenode
DataNode
然后继续jps，过一会全部节点都死掉
捣鼓了半天，没办法只有format，结果数据丢失了，幸亏是学习用的测试环境
所以，一般这种情况，不要急于找自己的配置那里出问题了
解决问题先找思路，先看看你的网络
首先，检查能否联网，ssh是否联通
其次，这个很重要，检查hostname 的ip能不能ping通，或者联通。我就在这里弄了两次了，郁闷。
因为vmware下，dhcp是不固定的换ip所以，我忽略了额hostna ...
- 2013-10-29 22:09
- 浏览 414
- 评论(0)
概念：
reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下，我们会在join阶段丢掉大多数传递的数据。因此我们期望能够 ...
- 2013-10-29 19:04
- 浏览 538
- 评论(0)
Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人一样，找出关键的“症状”，对于不同的症状有不同的诊断和处理方式。
在医学领域，没有什么可以代替一位经验丰富的医生；在复杂的分布式系统上，这个道理依然正确—有经验的用户和操作者在面对很多常见问题上都会有“第六感”。我曾经为Cloudera不同行业的客户解决过问题，他们面对的工作量、数据集和cluster ...
- 2013-10-28 20:33
- 浏览 525
- 评论(0)
MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。我们在中间key上使用分区函数来对数据进行分区，之后再输入到后续任务执行进程。一个缺省的分区函数是使用hash方法(比如，hash(key) mod R)进行分区。hash方法能产生非常平衡的分区。然而，有的时候，其它的一些分区函数对key值进行的分区将非常有用。比如，输出的key值是URLs，我们希望每个主机的所有条目保持在同一个输出文件中。为了支持类似的情况，MapReduce库的用户需要提供专门的分区函数。例如，使用“hash(Hostname(urlkey))
mod R”作为分区函数就可以把 ...
- 2013-10-19 18:03
- 浏览 381
- 评论(0)
如今在电脑的使用中经常碰到无法复制黏贴的问题，给资料的收集带来不少困难。近日，宇宙无意中看到了这篇文文，感觉不错，即转载分享！在此感谢文章作者雨中发呆。文文可能因浏览器版本不同，破解方法可能略有差异。
...
- 2013-10-19 13:31
- 浏览 497
- 评论(0)
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。
1.Apache Hadoop
1.1Apache版本衍化
截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0 ...
- 2013-10-19 10:34
- 浏览 588
- 评论(0)