`
Taoo
  • 浏览: 294597 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 修改replication

阅读更多
对于在hadoop已经存在的路径或文件,
可以修改其备份个数,命令为:./hadoop fs -setrep -w 2 -R /
解释:将“/”目录下的所有内容,递归的将其被备份个数设置为2.


文件的备份数目,由客户端写入时决定,如果在客户端写入时没有设置,默认值为三。
要修改写入时的备份个数需要配置

        Configuration conf = new Configuration();
        conf.set("hadoop.job.ugi", superuser + "," + supergroup);
        conf.set("dfs.replication", replication);
       
      
        FileSystem dfs = p.getFileSystem(conf);
分享到:
评论

相关推荐

    hadoop config 配置文件

    - 谨慎调整默认值:Hadoop的默认配置经过了大量测试,随意修改可能引入新的问题。 - 监控与调整:使用Hadoop自带的监控工具(如Web UI)定期检查集群状态,并根据实际负载调整配置。 9. **安全配置** 在生产环境...

    hadoop-2.7.5 windows环境

    1. **修改配置文件**: 打开"Hadoop-2.7.5-master"目录下的`conf`文件夹,主要需要编辑两个核心配置文件:`core-site.xml`和`hdfs-site.xml`。 2. **core-site.xml**: 这个文件主要设置Hadoop的基本属性,例如数据...

    windows版hadoop

    - 修改`etc/hadoop/core-site.xml`配置文件,设置HDFS的默认名称节点和临时目录。例如: ```xml <name>fs.defaultFS <value>hdfs://localhost:9000 <name>hadoop.tmp.dir <value>C:/hadoop/tmp `...

    hadoop集群环境的搭建

    "hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理...搭建 Hadoop 集群环境需要安装 JDK 和 Hadoop,修改地址解析文件和 Hadoop 配置文件,最后启动 Hadoop。只有通过这些步骤,才能成功搭建 Hadoop 集群环境。

    winutils.exe_hadoop-3.0.0

    5. **配置hadoop-env.cmd**:在`HADOOP_HOME\conf`目录下,打开`hadoop-env.cmd`文件,根据你的Java安装位置,修改`JAVA_HOME`变量。 6. **配置core-site.xml**:编辑`HADOOP_HOME\conf\core-site.xml`,添加以下...

    hadoop入门教程.pdf

    - **hdfs-site.xml**: 设置`dfs.replication`为1,表示副本数量为1,对于初始学习阶段足够。`dfs.permissions`设置为`false`,关闭权限检查,避免开发时出现权限问题。 - **mapred-site.xml**: 设置`mapred.job....

    Hadoop2.7.3安装文档

    ### Hadoop2.7.3安装指南 #### 一、Hadoop下载与环境准备...此外,还需要确保所有配置文件的更改都已同步到其他集群节点上,并且根据实际情况调整相关参数。通过上述步骤,用户可以成功搭建一个功能完善的Hadoop集群。

    Hadoop 2.9.0 已废除属性集

    因此,在升级Hadoop系统之前,管理员需要仔细审查配置文件,并对其中涉及已废除属性的部分进行相应的修改。 了解这些废除属性以及它们的替代属性,不仅有助于在升级过程中避免潜在的问题,而且还有助于管理员更好地...

    hadoop-2.7.7.zip(windows 用)

    4. **配置HDFS**: 编辑"Hadoop安装目录"\conf\hdfs-site.xml,设置`dfs.replication`为1,因为在本地单节点模式下,不需要数据复制。 5. **配置MapReduce**: 修改"Hadoop安装目录"\conf\mapred-site.xml,设置`...

    hadoop 2.7.3 hadoop.dll 和winutils.exe

    3. **配置Hadoop配置文件**: 修改hadoop-site.xml,设置HDFS和YARN的相关参数,如namenode地址、dfs.replication等。 4. **格式化NameNode**: 使用winutils.exe初始化NameNode,创建HDFS的元数据。 5. **启动Hadoop...

    单机Hadoop配置安装

    修改hadoop-env.cmd文件,以便配置Hadoop的环境变量。在文件中,需要将JAVA_HOME环境变量设置为JDK的安装目录。 步骤五:替换文件和运行环境 将hadooponwindows-master.zip压缩包解压,并将bin目录复制到Hadoop-...

    Hadoop安装教程_单机_伪分布式配置

    - 在`core-site.xml`中,将`<value>`中的地址更改为`hdfs://hostname:9000`,其中`hostname`是机器的真实主机名。 - 在`hdfs-site.xml`和`yarn-site.xml`中,将所有`localhost`替换为真实的主机名。 2. **重启...

    hadoop伪分布式安装.pdf

    <name>dfs.replication <value>1 <name>dfs.namenode.name.dir <value>file:/root/soft/hadoop/tmp/dfs/name <name>dfs.datanode.data.dir <value>file:/root/soft/hadoop/tmp/dfs/data ``` 4. **...

    hadoop-2.6.1-windows.zip

    总结,安装和配置Hadoop 2.6.1在Windows X64平台上的过程包括:安装JDK、配置环境变量、修改配置文件、启动Hadoop服务,以及在Java项目中集成Hadoop客户端。这个过程可能需要一定的耐心和理解,但是一旦完成,你就能...

    windows_hadoop2.7.6

    这些文件位于`etc/hadoop`目录下,需要根据你的实际环境进行适当修改。 `core-site.xml`中,你需要定义Hadoop的默认文件系统,通常是本地文件系统。例如: ```xml <name>fs.defaultFS <value>file:/// ``` ...

    win7下编译过的hadoop jar包--hadoop-2.7.2.zip

    解决这些问题通常需要对Hadoop配置文件进行适当的修改,例如使用Windows兼容的路径表示法。 总之,这个“win7下编译过的hadoop-2.7.2.zip”压缩包为Windows 7用户提供了一种方便的方式来学习和探索Hadoop。虽然在...

    hadoop安装部署说明文档

    4. **配置Hadoop**:修改`etc/hadoop/hadoop-env.sh`,设置HADOOP_HOME和JAVA_HOME。在`etc/hadoop/core-site.xml`中配置默认文件系统为HDFS,`etc/hadoop/hdfs-site.xml`中配置副本数量等参数。 5. **格式化...

    Hadoop安装和配置

    <name>dfs.replication <value>3 <name>dfs.name.dir <value>/data/hadoop/name <name>dfs.data.dir <value>/data/hadoop/data,/data/hadoop/data01,/data/hadoop/data02 <name>dfs.permissions ...

    Windows上安装Hadoop

    - 修改`core-site.xml`,配置Hadoop的默认文件系统,如: ``` <name>fs.defaultFS <value>hdfs://localhost:9000 ``` - 修改`hdfs-site.xml`,配置NameNode和DataNode的端口,如: ``` <name>dfs....

    hadoop-0.20.2(已经修改了conf文件中的默认配置)

    在Windows上使用Eclipse进行Hadoop开发,通常需要安装Hadoop的本地模拟环境,如Hadoop Single Node Setup,这可以通过修改`hadoop-env.sh`文件来实现,设置HADOOP_HOME环境变量,并将Hadoop的bin目录添加到PATH环境...

Global site tag (gtag.js) - Google Analytics