`
Taoo
  • 浏览: 294553 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 修改 logs路径 和tmp路径

阅读更多
修改过程
1,停掉hadoop集群。
2,拷贝原始logs路径下和tmp路径下的内容到新的路径下(目标路径)。其实删除tmp路径下内容也可以。
3,修改配置文件,hadoop-env.sh和core-site.xml。(如后文所示)
4,启动hadoop集群。



修改hadoop logs路径

在hadoop-env.sh中,修改为
# Where log files are stored.  $HADOOP_HOME/logs by default.
# export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
export HADOOP_LOG_DIR=/新的路径/logs



修改 tmp路径


在core-site.xml 设置hadoop.tmp.dir参数。如果不设置,其默认为/tmp/hadoop-${user.name}
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/新的路径/tmp</value>
   </property>



分享到:
评论
1 楼 107x 2014-08-13  
不错,谢谢!

相关推荐

    CentOS搭建hadoop伪分布式时遇到的错误.doc

    配置Hadoop时,确保`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`等配置文件正确指向了修改后的目录路径。 此外,还要注意防火墙设置,确保Hadoop需要的端口(如50070、8088等)对本地用户开放。最后,启动...

    hadoop.dll

    2. **配置文件错误**:检查Hadoop的配置文件,如`core-site.xml`和`hdfs-site.xml`,确认其中的路径和参数设置无误。特别是`fs.defaultFS`(默认文件系统)和`mapreduce.framework.name`(MapReduce运行时框架)的...

    在w10中编辑hadoop2.6.4后的bin和lib文件

    7. **测试和验证**:每次修改后,通过运行Hadoop命令或启动服务来测试修改是否成功。如果遇到错误,查看日志文件(通常在`logs`目录下)以获取更多信息。 总的来说,编辑`bin`和`lib`文件是为了确保Hadoop在Windows...

    hadoop入门教程

    2. **配置Hadoop环境**: 在Eclipse中配置Hadoop环境,选择正确的Hadoop版本和配置文件路径。 3. **编写MapReduce程序**: 使用Eclipse创建一个新的MapReduce项目,并编写Java代码实现具体的业务逻辑。 4. **提交作业...

    hadoop集群配置及mapreduce开发手册

    - `$ mkdir logs pids tmp dfs` - `$ cd dfs` - `$ mkdir name data` ##### 2.2 安装配置JDK - 下载JDK并存储在 `/opt` 目录下。 - 执行安装命令:`$ ./jdk-7-ea-linux-i586.bin`。 - 配置JDK环境变量: - ...

    hadoop节点问题.docx

    2. **删除临时文件**:确认路径后,需要删除该路径下的所有临时文件(通常是`tmp`目录)。这些文件可能会包含过期或错误的信息,从而干扰Hadoop集群的正常运行。 3. **重新格式化Hadoop**:完成文件删除操作后,...

    hadoop hbase hive 伪分布安装

    - **环境变量设置**:修改`/etc/profile`文件,设置`JAVA_HOME`和`JRE_HOME`指向JDK安装路径,同时设置`CLASSPATH`和`PATH`,确保系统能够找到Java相关的库和可执行文件。 ```bash export JAVA_HOME=/usr/lib/jvm...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    [hadoop@localhost ~]$ mkdir -p /home/hadoop/hive-2.1.1/hive/iotmp/operation_logs ``` **3. 配置环境变量** 修改 `/etc/profile` 文件,添加Hive相关的环境变量: ```bash export HIVE_HOME=/home/...

    hadoop2.7.3+hive1.2.1+spark2.0.1性能测试

    - 创建必要的目录结构:`tmp`, `logs`, `hdfs`, `name`等。 **2.2 配置 hadoop-env.sh 文件** - 设置JDK路径:`export JAVA_HOME=/usr/java/jdk1.7.0_79` **2.3 配置 yarn-env.sh 文件** - 类似于`hadoop-env.sh...

    Hadoop(Hbase)的安装部署与配置实验

    - **文件权限**: 创建并设置`/home/tianjun/hadoop`和`/opt/hadoop/logs`目录权限。 #### 二、复制多个虚拟机并实现通信 1. **虚拟机复制** - 使用VMware的“完全克隆”功能复制Ubuntu虚拟机。 - 查询每个虚拟机...

    Hadoop集群配置及MapReduce开发手册

    - **步骤**: 在`/data`目录下创建`logs`、`pids`、`tmp`和`dfs`目录。在`dfs`目录下进一步创建`name`和`data`目录。 这样做的目的是为了让Hadoop能够有效地管理和存储数据。 **2.2 安装配置JDK** - **下载并安装...

    Hadoop集群的使用与管理.pdf

    此外,有些操作需要特别注意,例如在格式化HDFS时,要先删除`/usr/hadoop/tmp`以避免旧数据干扰。多次格式化可能导致数据丢失,因此在执行此操作前需谨慎。 最后,如果遇到`jps`命令失效,可能是JDK环境变量未正确...

    八斗学院3.如何在自己的电脑上搭建hadoop集群?.docx

    创建一个名为`tmp`的目录,例如`mkdir /home/hadoop/hadoop-1.2.1/tmp`。接着,通过编辑`master`、`slaves`、`core-site.xml`、`mapred-site.xml`和`hdfs-site.xml`等配置文件来设置集群参数。例如,`master`文件应...

    centos下hadoop2.6.0配置.pdf

    这里`fs.default.name`指定了NameNode的地址和端口,`hadoop.tmp.dir`是Hadoop临时目录的位置。 3. **配置hdfs-site.xml**: 在`hadoop-2.6.0/etc/hadoop/hdfs-site.xml`中,指定NameNode和DataNode的数据存储...

    搭建hadoop集群,到zookeeper包含ssh

    - 创建`/opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/data/tmp`目录用于存储NameNode的数据。 - 修改`core-site.xml`、`hdfs-site.xml`和`slaves`等文件以完成HDFS的配置。 2. **YARN配置**: - 配置`yarn-...

    Hadoop-2.4.0+Hbase-0.94.18+Nutch-2.3集群爬虫配置攻略

    在配置文件`core-site.xml`中,需要定义默认文件系统(`fs.defaultFS`)为`hdfs://localhost:9000`,并指定Hadoop临时目录(`hadoop.tmp.dir`)的位置,例如`/opt/hadoop-2.4.0/tmp`。 在`hdfs-site.xml`中,应设置...

    解决hive报hdfs exceeded directory item limit错误

    总之,理解和处理“hdfs exceeded directory item limit”错误需要对Hadoop和Hive的内部机制有深入的理解,以及对HDFS配置和管理的熟悉。通过合理的配置和维护,可以有效地避免或解决这类问题,确保Hadoop集群的稳定...

    HDFS高可用配置手册.docx

    - **配置core-site.xml**:设置Hadoop的默认文件系统路径和临时文件存储路径。 ```xml &lt;!-- NameNode 集群模式 --&gt; &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://mycluster &lt;!-- 指定 hadoop 运行时产生文件的存储...

    大数据框架的部署

    进入`spark-2.x.x-bin-hadoop2.7`目录并修改`conf/spark-env.sh`文件: ``` vi conf/spark-env.sh ``` 主要需要修改的配置包括: - 设置Java路径: ``` export JAVA_HOME=/path/to/jdk ``` - 设置内存...

Global site tag (gtag.js) - Google Analytics