`

hadoop core-default hdfs-default默认配置

阅读更多

 

dfs.replication.interval=3,
fs.hsftp.impl=org.apache.hadoop.hdfs.HsftpFileSystem,
dfs.safemode.extension=30000,
ipc.server.tcpnodelay=false,
dfs.web.ugi=webuser,webgroup,
fs.checkpoint.dir=${hadoop.tmp.dir}/dfs/namesecondary,
dfs.permissions.supergroup=supergroup,
dfs.datanode.http.address=0.0.0.0:50075,
dfs.replication.min=1,
dfs.https.address=0.0.0.0:50470,
dfs.datanode.dns.nameserver=default,
dfs.http.address=0.0.0.0:50070,
io.bytes.per.checksum=512,
dfs.blockreport.intervalMsec=3600000,
hadoop.util.hash.type=murmur,
dfs.data.dir=${hadoop.tmp.dir}/dfs/data,
fs.hdfs.impl=org.apache.hadoop.hdfs.DistributedFileSystem,
fs.ramfs.impl=org.apache.hadoop.fs.InMemoryFileSystem,
dfs.block.size=512,
fs.hftp.impl=org.apache.hadoop.hdfs.HftpFileSystem,
fs.checkpoint.period=3600,
dfs.https.client.keystore.resource=ssl-client.xml,
hadoop.logfile.count=10,
dfs.support.append=false,
ipc.client.connection.maxidletime=10000,
io.seqfile.lazydecompress=true,
dfs.datanode.dns.interface=default,
fs.checkpoint.size=67108864,
dfs.max.objects=0,
local.cache.size=10737418240,
fs.s3n.impl=org.apache.hadoop.fs.s3native.NativeS3FileSystem,
fs.file.impl=org.apache.hadoop.fs.LocalFileSystem,
fs.kfs.impl=org.apache.hadoop.fs.kfs.KosmosFileSystem,
fs.s3.buffer.dir=${hadoop.tmp.dir}/s3,
dfs.client.block.write.retries=3,
ipc.client.kill.max=10,
dfs.datanode.du.reserved=0,
hadoop.security.authorization=false,
dfs.replication.max=512,
dfs.balance.bandwidthPerSec=1048576,
fs.s3.sleepTimeSeconds=10,
fs.default.name=hdfs://10.0.18.105:54310,
hadoop.rpc.socket.factory.class.default=org.apache.hadoop.net.StandardSocketFactory,
topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping,
dfs.datanode.address=0.0.0.0:50010,
dfs.access.time.precision=3600000,
dfs.heartbeat.interval=3,
dfs.replication.considerLoad=true,
dfs.default.chunk.view.size=32768,
io.file.buffer.size=4096,
dfs.https.need.client.auth=false,
dfs.datanode.ipc.address=0.0.0.0:50020,
dfs.blockreport.initialDelay=0,
fs.har.impl.disable.cache=true,
hadoop.native.lib=true,
fs.s3.block.size=67108864,
dfs.replication=2,
io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,
dfs.https.enable=false,
io.seqfile.compress.blocksize=1000000,
fs.har.impl=org.apache.hadoop.fs.HarFileSystem,
io.mapfile.bloom.error.rate=0.005,
dfs.namenode.decommission.interval=30,
io.skip.checksum.errors=false,
fs.s3.maxRetries=4,
ipc.server.listen.queue.size=128,
fs.trash.interval=0,
fs.s3.impl=org.apache.hadoop.fs.s3.S3FileSystem,
io.seqfile.sorter.recordlimit=1000000,
io.mapfile.bloom.size=1048576,
dfs.namenode.startup=FORMAT,
dfs.namenode.decommission.nodes.per.interval=5,
webinterface.private.actions=false,
dfs.name.edits.dir=${dfs.name.dir},
hadoop.tmp.dir=/home/dikar/hadoop/tmp,
fs.checkpoint.edits.dir=${fs.checkpoint.dir},
dfs.safemode.threshold.pct=0.999f,
ipc.client.idlethreshold=4000,
dfs.permissions=true,
dfs.namenode.handler.count=10,
hadoop.logfile.size=10000000,
dfs.namenode.logging.level=info,
dfs.datanode.https.address=0.0.0.0:50475,
dfs.secondary.http.address=0.0.0.0:50090,
topology.script.number.args=100,
dfs.https.server.keystore.resource=ssl-server.xml,
fs.ftp.impl=org.apache.hadoop.fs.ftp.FTPFileSystem,
dfs.name.dir=${hadoop.tmp.dir}/dfs/name,
io.serializations=org.apache.hadoop.io.serializer.WritableSerialization,
ipc.client.connect.max.retries=10,
ipc.client.tcpnodelay=false,
dfs.datanode.handler.count=3,
dfs.df.interval=60000
 

   看这个默认的配置,大家就会发现

  

hadoop.tmp.dir 

 

    这个配置的重要性了,其实tmp 真的不是temp *_<

分享到:
评论

相关推荐

    hadoop默认配置文件x-default.xml

    本篇文章将深入探讨Hadoop的默认配置文件,包括`core-default.xml`、`hdfs-default.xml`、`mapred-default.xml`和`yarn-default.xml`,以及这些文件中的关键配置选项。 首先,`core-default.xml`是Hadoop的核心配置...

    hadoop-fuse-dfs安装.docx

    - 下载CDH集群中的HDFS客户端配置文件,并将`core-site.xml`和`hdfs-site.xml`两个文件复制到`/etc/hadoop/conf.empty`目录下覆盖原有文件,以确保Hadoop-Fuse-Dfs使用的是与CDH集群一致的配置信息。 #### 三、...

    hadoop-3.3.1 windows + apache-hadoop-3.1.0-winutils-master.zip

    3. **配置Hadoop**:在Hadoop的conf目录下,编辑`core-site.xml`,设置HDFS的默认FS(如`fs.defaultFS`为`hdfs://localhost:9000`),以及临时目录(如`hadoop.tmp.dir`为`C:\Hadoop\tmp`)。然后编辑`hdfs-site.xml...

    hadoop-3.1.3.tar.gz

    在Hadoop的配置目录($HADOOP_HOME/etc/hadoop)下,有两个主要的配置文件:core-site.xml和hdfs-site.xml。核心配置core-site.xml主要设置临时目录和HDFS的访问方式,例如: ```xml &lt;name&gt;fs.defaultFS ...

    hadoop-2.6.1-windows.zip

    在core-site.xml中,你需要定义Hadoop的默认文件系统,通常是本地文件系统,配置如下: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;file:/// ``` 接着,配置HDFS(Hadoop Distributed File System)的相关参数。在...

    hadoop的默认配置文件

    接下来,我们将详细探讨这四个默认配置文件——hdfs-default.xml、yarn-default.xml、core-default.xml和mapred-default.xml,以及它们所包含的关键知识点。 1. **hdfs-default.xml**:这是Hadoop分布式文件系统的...

    flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

    4. `hdfs-default.xml`、`mapred-default.xml`、`yarn-default.xml`、`core-default.xml`:这些都是 Hadoop 的默认配置文件,定义了 HDFS(Hadoop 分布式文件系统)、MapReduce(Hadoop 的并行计算模型)和 YARN 的...

    hadoop-2.7.5 windows环境

    1. **修改配置文件**: 打开"Hadoop-2.7.5-master"目录下的`conf`文件夹,主要需要编辑两个核心配置文件:`core-site.xml`和`hdfs-site.xml`。 2. **core-site.xml**: 这个文件主要设置Hadoop的基本属性,例如数据...

    hadoop hdfs配置

    主要配置HDFS的默认名称节点(NameNode)的地址以及Hadoop临时目录。 ```xml &lt;name&gt;fs.default.name &lt;value&gt;hdfs://192.168.170.130:9000 &lt;name&gt;Hadoop.tmp.dir &lt;value&gt;/opt/Hadoop-1.2 ``` - *...

    Hadoop-hdfs的安装

    - **配置Hadoop核心文件**:编辑`core-site.xml`和`hdfs-site.xml`文件,设置相应的属性值。 - `core-site.xml`示例配置: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://10.128.51.117:9000 &lt;name&gt;hadoop....

    hdfs-default.xml

    export CLASSPATH="$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/lib/commons-logging-1.0.4.jar:${HADOOP_HOME}/lib/guava-r09-jarjar.jar:${HADOOP_HOME}/hadoop-core-0.20.2-cdh3u3.jar:/usr/...

    HadoopHA高可用集群配置 core-site.xml

    ### Hadoop HA高可用集群配置核心解析:core-site.xml #### 概述 在搭建Hadoop高可用(High Availability, HA)集群时,`core-site.xml`是其中一个至关重要的配置文件。它主要用于定义Hadoop集群的基本属性,如...

    hadoop config 配置文件

    Hadoop的配置主要通过XML文件进行,这些文件位于`$HADOOP_CONF_DIR`目录下,通常包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml` 和 `mapred-site.xml`。这些文件分别对应Hadoop的核心、HDFS(Hadoop分布式...

    hadoop2.4-bin-winutils

    3. **设置HDFS路径**:在Hadoop的配置文件中(如`core-site.xml`),你需要指定HDFS的默认名称节点(defaultFS)。通常设置为`hdfs://localhost:9000`,表示本地运行的HDFS服务。 4. **初始化HDFS**:使用winutils....

    win安装部署hadoop3.0.0并启动上传文件到HDFS(博文相关代码)

    - 修改`core-site.xml`,配置HDFS的默认FS(默认文件系统)和通信缓冲区大小,例如: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://localhost:9000 ``` - 配置HDFS的`hdfs-site.xml`,设定NameNode和...

    CentOS7 Hadoop 2.7.X 安装部署.rar

    在Hadoop的`etc/hadoop`目录下,有两个主要的配置文件:`core-site.xml` 和 `hdfs-site.xml`。这些文件将定义Hadoop集群的基本行为和HDFS的配置参数。 1. `core-site.xml` 配置: ```xml &lt;name&gt;fs.defaultFS ...

    hadoop-2.7.2---win10.zip

    例如,`fs.defaultFS`用于指定HDFS的默认文件系统,通常设置为本地文件系统的HDFS模拟模式,如"file:///c:/hadoop/tmp/dfs/data"。 5. **设置环境变量**:在系统环境变量中添加`HADOOP_HOME`,指向Hadoop的安装目录...

    实验2模板-HDFS环境搭建及基本命令的使用

    配置`core-site.xml`以设置HDFS的默认名称节点,例如`fs.defaultFS`设置为`hdfs://localhost:9000`。配置`hdfs-site.xml`,指定副本数量等参数。 - 初始化NameNode:运行`hadoop namenode -format`命令。 - 启动...

    hadoop-win10-winutils

    4. **配置HDFS**: 在`core-site.xml`中设置HDFS默认名称节点(namenode)地址,如`fs.defaultFS`,通常是`hdfs://localhost:9000`。 5. **格式化NameNode**: 使用`winutils.exe`初始化NameNode,命令类似`winutils....

Global site tag (gtag.js) - Google Analytics