博客首页 → hdfs

最新文章列表

php访问HDFS

假定您的主机上已经安装了LAMP环境 1. 安装所需的依赖包   #yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel php php-devel 2. 从http://thrift.apache.org ...
HadoopHDFSThrift 
liujun.1980 评论(0) 有2050人浏览 2013-04-03 09:22

Hadoop 异常 总结

    Directory /tmp/hadoop-lee/dfs/name is in an inconsistent state: storage directory DOES NOT exist or is NOT accesible 原因： http://lucene.472066.n3.nabble.com/Directory-tmp-hadoop-root-dfs-name-is-in ...
hadoopexception异常hdfsmapreduce 
Wuaner 评论(0) 有1180人浏览 2013-01-08 10:35

HDFS RAID

引自个人blog： http://jiangbo.me/blog/2012/12/21/hdfs-raid/     一、背景 HDFS是构建在普通机器上的分布式文件系统，而这类系统需要解决的一个首要问题就是容错，允许部分节点失效。而为了解决数据的可靠性，HDFS采用了副本策略。默认会为所有的block存放三个副本（具体参见HDFS设计文档）。 副本机制能够有效解决部分节点失效导致数据丢失的 ...
HDFSRAID 
bojiang 评论(0) 有4832人浏览 2012-12-21 17:46

GlusterFS的分析与应用【毕业论文】

                  GlusterFS 的分析和应用       [ 论文摘要] 随着互联网发展的深入，数据存储的需求得到了空前的增长。如何利用软件在廉价机器上实现高性能、高容量、高可靠性、高扩展性的存储系统便成了很值得研究的问题。作为一个分布式文件系统， GlusterFS 采用了独特的弹性 hash 算法，实现了没有元数据的非中心式的架构 ...
GlusterFS分布式文件系统HDFS弹性hash算法 
Wesleydeng 评论(1) 有7263人浏览 2012-11-25 23:03

HDFS append and Replication

如果一个文件正在写，那么NN不会执行Replication,因为此时file处于under_construction。 但是如果HDFS 在做某个block的Replication时会读这个block，且正读了一半block，有client过来append这个文件会怎么样？？？
hdfsappendreplication 
brianf 评论(0) 有925人浏览 2012-11-05 17:12

Java对HDFS的操作

Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文 ...
javahadoophdfs 
cooliufang 评论(1) 有10740人浏览 2012-10-25 12:42

使用FUSE-DFS Mount HDFS

原文引自：http://jiangbo.me/blog/2012/10/23/mount-hdfs-with-fuse-dfs/ 介绍 Hadooop源码中自带了contrib/fuse-dfs模块，用于实现通过libhdfs和fuse将HDFS mount到*inux的本地。 编译 环境 Linux: 2.6.18-164.el5 x86_64 JDK: 1.6.0_23 64bit Had ...
HDFS 
bojiang 评论(0) 有4591人浏览 2012-10-23 13:57

Hadoop

《Hadoop: The Definitive Guide》reading notes： This, in a nutshell, is what Hadoop provides: a reliable shared storage and analysis system. The storage is provided by HDFS and analysis by MapReduce. Ther ...
hadoophdfsmapreduce 
Wuaner 评论(0) 有1235人浏览 2012-09-25 19:45

Client向HDFS写入数据的过程解析

Client以数据块（Block）为单位进行数据存储。按照我们一般的理解，Client向HDFS写入数据，首先需要向NameNode申请Block；申请Block完成后，申请DataNode（包括备份存储的DataNode）；二者完成后，Clent进行与DataNode之间的数据存储。 我们知道NameNode之中维护两张非常重要的表，一张是filename→blocks的映射；另外一张 ...
hadoopHDFS源码阅读随笔 
zuochanxiaoheshang 评论(0) 有3937人浏览 2012-09-20 21:19

hadoop上传本地文件到hdfs报错

public static void Copy() throws IOException{ Configuration cfg = new Configuration(); FileSystem hdfs = FileSystem.get(cfg); // File file = new File("C:\\XXX\\API\\ss.txt"); Path ...
hadoophdfs云计算 
yaoxiaowei0909 评论(0) 有2529人浏览 2012-09-18 23:25

用Sqoop把数据从HDFS导入到MYSQL

sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。 在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想: 1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。 2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样 ...
hadoopsqoopjavahdfsmysql 
totodu 评论(0) 有900人浏览 2012-09-10 18:34

hadoop的HDFS文件操作命令

Hadoop中操作HDFS的最常用的文件管理任务 1、添加文件和目录 添加目录:oldmo hadoop fs -mkdir /user/oldmo 查看目录 hadoop fs -ls / hadoop fs -lsr / 复制本地文件到HDFS hadoop fs -put hadoop1.0.1/conf/*  / ...
hadoophdfs 
Jelen_123 评论(0) 有1187人浏览 2012-08-27 09:32

高可用的HDFS学习笔记1

高可用的HDFS 写道 对于HDFS来说，每一份数据可以有多个副本，因此文件数据的可靠性由副本来解决。然而，对于元数据管理来说，只有一个节点NameNode,它的好坏直接道决定了HDFS能否正常服务，因此NameNode的高可用性决定了整个HDFS系统的高可用性。不同应用对HDFS高可用性有不同要求，目前Hadoop自身包括其他一些开源组织提供了一些相应的高可用性机制以满足不同的需要，如Backu ...
HDFSHA 
xiaoyao3857 评论(0) 有1390人浏览 2012-08-14 16:09

hdfs吞吐率与iops测试

1.测试环境： 1ns+1secondaryns+4ds 操作系统：Red Hat 4.1.2-46 CPU：      16  Intel(R) Xeon(R) CPU           E5620  @ 2.40GHz MEM：    12 GB 网卡：      1000Gb/s 2.测试准备： ulimit -n 655350（临时生效） ulimit -u 65535   ...
hadoophdfs 
icetea 评论(0) 有2108人浏览 2012-08-12 16:26

hdfs集群安装与配置

hdfs集群安装与配置 准备   1.1创建新用户 sudo useradd  hadoop   //新建hadoop用户   sudo passwd  hadoop   //输入密码   sudo vi /etc/sudoers  //添加hadoop的sudo权限; 新增一行：hadoop  ALL=(ALL)       ALL   1.2安装JAVA ...
hadoophdfs 
icetea 评论(0) 有1621人浏览 2012-08-12 16:22

配置hdfs映射本地文件系统 mount

配置hdfs映射本地文件系统 mount 1.在namenode上安装tomcat6 然后下载hdfs-webdav.war 拷贝到webapp下，2.进入webapp目录hdfs-webdav/linux_mount_lib 将fuse-2.7.4.tar.gz    neon-0.28.3.tar.gz 解压，然后重新下载高版本davfs2-1.4.6.tar.gz 代替原有的1.3.3版本，解 ...
hdfsmountwebdavhadoop 
danny_ 评论(0) 有2298人浏览 2012-08-03 10:11

删除hdfs文件报 permission denied的处理

删除hdfs文件报 permission denied的处理, 参考: http://heipark.iteye.com/blog/1068139 http://blog.sina.com.cn/s/blog_5f3895a00100w2pu.html 分M/R和客户端程序两种情况. case A: M/R，只要在执行的机器上加入java参数 -Dhadoop.job.ugi=shentin ...
hadoophdfsjavapermissiondelete 
keren 评论(0) 有4103人浏览 2012-08-02 17:11

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics