本月博客排行
-
第1名
龙儿筝 -
第2名
lerf -
第3名
fantaxy025025 - johnsmith9th
- xiangjie88
- zysnba
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - wy_19921005
- vipbooks
- benladeng5225
- e_e
- wallimn
- javashop
- ranbuijj
- fantaxy025025
- jickcai
- gengyun12
- zw7534313
- qepwqnp
- 解宜然
- ssydxa219
- zysnba
- sam123456gz
- sichunli_030
- arpenker
- tanling8334
- gaojingsong
- kaizi1992
- xpenxpen
- 龙儿筝
- jh108020
- wiseboyloves
- ganxueyun
- xyuma
- xiangjie88
- wangchen.ily
- Jameslyy
- luxurioust
- lemonhandsome
- mengjichen
- jbosscn
- zxq_2017
- lzyfn123
- nychen2000
- forestqqqq
- wjianwei666
- ajinn
- zhanjia
- Xeden
- hanbaohong
- java-007
- 喧嚣求静
- mwhgJava
- kingwell.leng
最新文章列表
spark集群搭建时的一个问题
求大神解惑:
spark1.6版本操作hdfs报错:
在spark-shell里:
val file = sc.textFile("hdfs://master138:9000/sparktest/README.md")
val spc = file.filter(line => line.contains("Spark"))
当运行spc. ...
hadoop nanenode -format错误
新搭建的集群进行hdfs格式化时报错,错误信息如下:
hdfs namenode -format
Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode
原因一:
查看hadoop-xxx所属用户组是否正确,可使用 chown -R x:x hadoop-xxx ...
合并HDFS和本地文件系统中的小文件
众所周知,HDFS中过多的小文件,会给NameNode造成很大的压力,所谓的小文件,是指远远小于文件块大小的文件。
在使用HDFS的过程中,应尽量避免生成过多的小文件。
本文以TextFile为例,介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中,对小文件的合并方法
将本地的小文件合并,上传到HDFS
假设存放在 ...
tachyon与hdfs,以及spark整合
Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spark 1.5.x兼容,目前所用的Spark为1.4.1,tachyon为 0.7.1
tachyon 与 h ...
hadoop之hdfs
hdfs的设计理念:当数据集的大小超过单台计算机的存储能力时,就有必要将其进行分区并存储到若干台单独的计算机上。可以这样说hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。在hadoop里,hadoop定义了一个抽象的文件系统的概念,具体就是hadoop里面定义了一个java的抽象类:org.apache.hadoop.fs.FileSystm,这个抽象类用来定义hadoop中的 ...
分布式文件系统HDFS原理与操作
通过web了解Hadoop的活动通过用浏览器和http访问jobtracker所在节点的50030端口监控jobtracker通过用浏览器和http访问namenode所在节点的50070端口监控集群http://192.168.136.128:50030/jobtracker.jsphttp://192.168.136.128:50070/dfshealth.jspHDFS分布式文件系统HD ...
分布式数据库HBase简介
本文转自http://storage.chinabyte.com/420/12417420.shtml。
HBase 是一个面向列的分布式数据库。HBase 不是一个关系型数据库,其设计目标是用 ...
分布式文件系统HDFS简介
本文转自http://storage.chinabyte.com/107/12416607.shtml。
Hadoop 分布式文件系统 (HDFS) 是运行在通用硬件上的分布式文件系统。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为各大网站等在线服务公司的海量存
hadoop2.5.2配置httpfs服务
hadoop2.5.2配置httpfs服务
httpfs hadoop hdfs
测试环境
ubuntu 14.04 单机
hadoop2.5.2 伪分布式
jdk1.7
作用
通过HttpFs你可以在浏览器里面管理HDFS上的文件,功能同hadoop shell相似
HttpFs还提供了一套REST 风格的API可以用来管理HDFS
...
NFS挂载hdfs到本地
NFS挂载hdfs到本地
nfs hdfs nfs hdfs
hdfs挂载: hdfs是分布式系统,要想访问hdfs上的文件,可以用java api 或者hadoop shell等工具,如果想操作hdfs文件系统就像操作本地文件系统一样的便捷,可以将hdfs文件系统挂载到本地的一个目录上,那么挂载的方式有两种:
fuse 挂载:需要另外安装fuse工具,详细请参考: h ...