`

hadoop core-default hdfs-default默认配置

阅读更多
Java代码   收藏代码
  1. dfs.replication.interval= 3 ,  
  2. fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem,  
  3. dfs.safemode.extension=30000 ,  
  4. ipc.server.tcpnodelay=false ,  
  5. dfs.web.ugi=webuser,webgroup,  
  6. fs.checkpoint.dir=${hadoop.tmp.dir}/dfs/namesecondary,  
  7. dfs.permissions.supergroup=supergroup,  
  8. dfs.datanode.http.address=0.0 . 0.0 : 50075 ,  
  9. dfs.replication.min=1 ,  
  10. dfs.https.address=0.0 . 0.0 : 50470 ,  
  11. dfs.datanode.dns.nameserver=default ,  
  12. dfs.http.address=0.0 . 0.0 : 50070 ,  
  13. io.bytes.per.checksum=512 ,  
  14. dfs.blockreport.intervalMsec=3600000 ,  
  15. hadoop.util.hash.type=murmur,  
  16. dfs.data.dir=${hadoop.tmp.dir}/dfs/data,  
  17. fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem,  
  18. fs.ramfs.impl=org.apache.hadoop.fs.InMemoryFileSystem,  
  19. dfs.block.size=512 ,  
  20. fs.hftp.impl=org.apache.hadoop.hdfs.HftpFileSystem,  
  21. fs.checkpoint.period=3600 ,  
  22. dfs.https.client.keystore.resource=ssl-client.xml,  
  23. hadoop.logfile.count=10 ,  
  24. dfs.support.append=false ,  
  25. ipc.client.connection.maxidletime=10000 ,  
  26. io.seqfile.lazydecompress=true ,  
  27. dfs.datanode.dns.interface = default ,  
  28. fs.checkpoint.size=67108864 ,  
  29. dfs.max.objects=0 ,  
  30. local.cache.size=10737418240 ,  
  31. fs.s3n.impl=org.apache.hadoop.fs.s3native.NativeS3FileSystem,  
  32. fs.file.impl=org.apache.hadoop.fs.LocalFileSystem,  
  33. fs.kfs.impl=org.apache.hadoop.fs.kfs.KosmosFileSystem,  
  34. fs.s3.buffer.dir=${hadoop.tmp.dir}/s3,  
  35. dfs.client.block.write.retries=3 ,  
  36. ipc.client.kill.max=10 ,  
  37. dfs.datanode.du.reserved=0 ,  
  38. hadoop.security.authorization=false ,  
  39. dfs.replication.max=512 ,  
  40. dfs.balance.bandwidthPerSec=1048576 ,  
  41. fs.s3.sleepTimeSeconds=10 ,  
  42. fs.default .name=hdfs: //10.0.18.105:54310,   
  43. hadoop.rpc.socket.factory.class . default =org.apache.hadoop.net.StandardSocketFactory,  
  44. topology.node.switch .mapping.impl=org.apache.hadoop.net.ScriptBasedMapping,  
  45. dfs.datanode.address=0.0 . 0.0 : 50010 ,  
  46. dfs.access.time.precision=3600000 ,  
  47. dfs.heartbeat.interval=3 ,  
  48. dfs.replication.considerLoad=true ,  
  49. dfs.default .chunk.view.size= 32768 ,  
  50. io.file.buffer.size=4096 ,  
  51. dfs.https.need.client.auth=false ,  
  52. dfs.datanode.ipc.address=0.0 . 0.0 : 50020 ,  
  53. dfs.blockreport.initialDelay=0 ,  
  54. fs.har.impl.disable.cache=true ,  
  55. hadoop.native .lib= true ,  
  56. fs.s3.block.size=67108864 ,  
  57. dfs.replication=2 ,  
  58. io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,  
  59. dfs.https.enable=false ,  
  60. io.seqfile.compress.blocksize=1000000 ,  
  61. fs.har.impl=org.apache.hadoop.fs.HarFileSystem,  
  62. io.mapfile.bloom.error.rate=0.005 ,  
  63. dfs.namenode.decommission.interval=30 ,  
  64. io.skip.checksum.errors=false ,  
  65. fs.s3.maxRetries=4 ,  
  66. ipc.server.listen.queue.size=128 ,  
  67. fs.trash.interval=0 ,  
  68. fs.s3.impl=org.apache.hadoop.fs.s3.S3FileSystem,  
  69. io.seqfile.sorter.recordlimit=1000000 ,  
  70. io.mapfile.bloom.size=1048576 ,  
  71. dfs.namenode.startup=FORMAT,  
  72. dfs.namenode.decommission.nodes.per.interval=5 ,  
  73. webinterface.private .actions= false ,  
  74. dfs.name.edits.dir=${dfs.name.dir},  
  75. hadoop.tmp.dir=/home/dikar/hadoop/tmp,  
  76. fs.checkpoint.edits.dir=${fs.checkpoint.dir},  
  77. dfs.safemode.threshold.pct=0 .999f,  
  78. ipc.client.idlethreshold=4000 ,  
  79. dfs.permissions=true ,  
  80. dfs.namenode.handler.count=10 ,  
  81. hadoop.logfile.size=10000000 ,  
  82. dfs.namenode.logging.level=info,  
  83. dfs.datanode.https.address=0.0 . 0.0 : 50475 ,  
  84. dfs.secondary.http.address=0.0 . 0.0 : 50090 ,  
  85. topology.script.number.args=100 ,  
  86. dfs.https.server.keystore.resource=ssl-server.xml,  
  87. fs.ftp.impl=org.apache.hadoop.fs.ftp.FTPFileSystem,  
  88. dfs.name.dir=${hadoop.tmp.dir}/dfs/name,  
  89. io.serializations=org.apache.hadoop.io.serializer.WritableSerialization,  
  90. ipc.client.connect.max.retries=10 ,  
  91. ipc.client.tcpnodelay=false ,  
  92. dfs.datanode.handler.count=3 ,  
  93. dfs.df.interval=60000   

 

   看这个默认的配置,大家就会发现

  

Java代码   收藏代码
  1. hadoop.tmp.dir   

 

    这个配置的重要性了,其实tmp 真的不是temp *_<

更多信息请查看 java进阶网 http://www.javady.com

分享到:
评论

相关推荐

    hadoop默认配置文件x-default.xml

    本篇文章将深入探讨Hadoop的默认配置文件,包括`core-default.xml`、`hdfs-default.xml`、`mapred-default.xml`和`yarn-default.xml`,以及这些文件中的关键配置选项。 首先,`core-default.xml`是Hadoop的核心配置...

    hadoop-fuse-dfs安装.docx

    - 下载CDH集群中的HDFS客户端配置文件,并将`core-site.xml`和`hdfs-site.xml`两个文件复制到`/etc/hadoop/conf.empty`目录下覆盖原有文件,以确保Hadoop-Fuse-Dfs使用的是与CDH集群一致的配置信息。 #### 三、...

    hadoop-3.3.1 windows + apache-hadoop-3.1.0-winutils-master.zip

    3. **配置Hadoop**:在Hadoop的conf目录下,编辑`core-site.xml`,设置HDFS的默认FS(如`fs.defaultFS`为`hdfs://localhost:9000`),以及临时目录(如`hadoop.tmp.dir`为`C:\Hadoop\tmp`)。然后编辑`hdfs-site.xml...

    hadoop-3.1.3.tar.gz

    在Hadoop的配置目录($HADOOP_HOME/etc/hadoop)下,有两个主要的配置文件:core-site.xml和hdfs-site.xml。核心配置core-site.xml主要设置临时目录和HDFS的访问方式,例如: ```xml &lt;name&gt;fs.defaultFS ...

    hadoop-2.6.1-windows.zip

    在core-site.xml中,你需要定义Hadoop的默认文件系统,通常是本地文件系统,配置如下: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;file:/// ``` 接着,配置HDFS(Hadoop Distributed File System)的相关参数。在...

    hadoop的默认配置文件

    接下来,我们将详细探讨这四个默认配置文件——hdfs-default.xml、yarn-default.xml、core-default.xml和mapred-default.xml,以及它们所包含的关键知识点。 1. **hdfs-default.xml**:这是Hadoop分布式文件系统的...

    flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

    4. `hdfs-default.xml`、`mapred-default.xml`、`yarn-default.xml`、`core-default.xml`:这些都是 Hadoop 的默认配置文件,定义了 HDFS(Hadoop 分布式文件系统)、MapReduce(Hadoop 的并行计算模型)和 YARN 的...

    hadoop-2.7.5 windows环境

    1. **修改配置文件**: 打开"Hadoop-2.7.5-master"目录下的`conf`文件夹,主要需要编辑两个核心配置文件:`core-site.xml`和`hdfs-site.xml`。 2. **core-site.xml**: 这个文件主要设置Hadoop的基本属性,例如数据...

    hadoop hdfs配置

    主要配置HDFS的默认名称节点(NameNode)的地址以及Hadoop临时目录。 ```xml &lt;name&gt;fs.default.name &lt;value&gt;hdfs://192.168.170.130:9000 &lt;name&gt;Hadoop.tmp.dir &lt;value&gt;/opt/Hadoop-1.2 ``` - *...

    hdfs-default.xml

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    HadoopHA高可用集群配置 core-site.xml

    ### Hadoop HA高可用集群配置核心解析:core-site.xml #### 概述 在搭建Hadoop高可用(High Availability, HA)集群时,`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性,如...

    hadoop2.4-bin-winutils

    3. **设置HDFS路径**:在Hadoop的配置文件中(如`core-site.xml`),你需要指定HDFS的默认名称节点(defaultFS)。通常设置为`hdfs://localhost:9000`,表示本地运行的HDFS服务。 4. **初始化HDFS**:使用winutils....

    win安装部署hadoop3.0.0并启动上传文件到HDFS(博文相关代码)

    - 修改`core-site.xml`,配置HDFS的默认FS(默认文件系统)和通信缓冲区大小,例如: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://localhost:9000 ``` - 配置HDFS的`hdfs-site.xml`,设定NameNode和...

    CentOS7 Hadoop 2.7.X 安装部署.rar

    在Hadoop的`etc/hadoop`目录下,有两个主要的配置文件:`core-site.xml` 和 `hdfs-site.xml`。这些文件将定义Hadoop集群的基本行为和HDFS的配置参数。 1. `core-site.xml` 配置: ```xml &lt;name&gt;fs.defaultFS ...

    hadoop-2.7.2---win10.zip

    例如,`fs.defaultFS`用于指定HDFS的默认文件系统,通常设置为本地文件系统的HDFS模拟模式,如"file:///c:/hadoop/tmp/dfs/data"。 5. **设置环境变量**:在系统环境变量中添加`HADOOP_HOME`,指向Hadoop的安装目录...

    实验2模板-HDFS环境搭建及基本命令的使用

    配置`core-site.xml`以设置HDFS的默认名称节点,例如`fs.defaultFS`设置为`hdfs://localhost:9000`。配置`hdfs-site.xml`,指定副本数量等参数。 - 初始化NameNode:运行`hadoop namenode -format`命令。 - 启动...

    hadoop-win10-winutils

    4. **配置HDFS**: 在`core-site.xml`中设置HDFS默认名称节点(namenode)地址,如`fs.defaultFS`,通常是`hdfs://localhost:9000`。 5. **格式化NameNode**: 使用`winutils.exe`初始化NameNode,命令类似`winutils....

    windows-hadoop-2.7.3

    4. **配置core-site.xml**:在这个文件中,你需要定义Hadoop的默认文件系统,通常设置为本地文件系统,如下: ``` &lt;name&gt;fs.defaultFS &lt;value&gt;file://localhost ``` 5. **配置hdfs-site.xml**:用于...

Global site tag (gtag.js) - Google Analytics