`
bupt04406
  • 浏览: 347734 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

cdh3集群 distcp 数据到 cdh4集群

 
阅读更多

 

从cdh3集群 distcp 数据到 cdh4集群上面详见: 
http://cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_7_2.html 
注意: 
(1)要启个mapreduce集群,在cdh4上启动mr 
(2)hadoop distcp hftp://cdh3-namenode:50070/ hdfs://cdh4-nameservice/ 
hftp 这个必须是hftp,另外端口50070是dfs.http.address,不是fs.default.name里面的端口

 

 

分享到:
评论

相关推荐

    CDH集群软件安装手册@20191118.docx

    CDH集群软件安装手册 CDH(Cloudera Distribution of Hadoop)是一种基于Apache Hadoop的商业发行版,旨在提供一个完整的、可扩展的大数据解决方案。...4. 数据备份:备份CDH集群中的数据,确保数据的安全性和完整性。

    CDH6.3.2集群部署手册

    CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop(CDH)版本6.3.2...通过按照手册提供的步骤逐步操作,用户可以顺利地搭建一个稳定、可靠的CDH集群,用于其大数据处理和分析需求。

    大数据集群卸载CM,卸载CDH,清除CDH 文件

    在IT行业中,大数据集群的管理和运维是一项复杂的...总之,卸载CM和CDH需要对Hadoop集群有深入理解,并严格按照步骤进行,以确保系统稳定和数据安全。同时,整个过程应配合官方文档和最佳实践,确保所有操作符合预期。

    大数据CDH集群部署文档v1.1.docx

    CDH集群可以处理大量数据,满足大数据时代的需求。 大数据CDH集群架构 大数据CDH集群架构主要包括以下几个部分: * Namenode:负责管理HDFS文件系统的元数据 * Datanode:负责存储数据块 * JobTracker:负责管理...

    使用IDEA工具连接CDH集群里面的hive组件

    使用IDEA工具连接CDH集群里面的hive组件是数据开发中的一项重要任务。本文将详细介绍如何使用IDEA工具连接CDH集群里面的hive组件,包括建立java工程项目、添加hive开发的jar包、配置pom文件、下载配置文件、添加jar...

    CDH集群部署手册(For CDH5)

    《CDH集群部署手册(For CDH5)》是一份...总之,《CDH集群部署手册(For CDH5)》是一份全面的指导文档,涵盖了从服务器规划、数据库配置到组件安装和高可用性设置的所有关键步骤,对于成功部署和管理CDH集群至关重要。

    CDH集群部署.doc

    CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案,该方案用于测试环境,同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境,虚拟三台机器,一主两备;主节点4G内存,50G...

    CDH集群运维手册

    《CDH集群运维手册》是针对Cloudera Distribution Including Apache Hadoop(简称CDH)的详细操作和维护指南。CDH是由Cloudera公司提供的一个全面、集成且经过测试的Hadoop发行版,包含了多种开源大数据处理项目,如...

    CDH+集群安全启动和关闭.doc

    ### CDH集群安全启动与关闭知识点详解 #### 一、CDH集群简介 Cloudera Distribution Including Apache Hadoop (CDH) 是一个基于Apache Hadoop的企业级大数据平台,由Cloudera公司提供支持和服务。CDH集成了众多...

    CDH集群部署手册(外)

    文档接下来介绍如何使用Cloudera Manager来部署CDH集群组件,包括认识CDH集群中的各个组件,如何将主机增加到集群中,配置分发到各节点的安装包的HTTP站点,以及分发安装Cloudera Manager Agent和CDH各组件到集群中...

    ubuntu完全分布式搭建CDH集群(Cloudera Manager)

    4. **安装 CDH 集群**: - 上传 `CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel` 文件到 CM Server。 - 在 CM Server 的 Web 界面上激活并分发该 parcel 到所有节点。 5. **配置 CDH 服务**: - 通过 CM 的 Web ...

    CDH5集群部署指南

    ### CDH5集群部署知识点详解 #### 一、概述 本文档主要介绍如何在Linux系统下部署一个完整的分布式CDH5(Hadoop)集群。CDH5是Cloudera Distribution Including Apache Hadoop (CDH) 的一个版本,它提供了企业级的...

    大数据【经典文档】:CDH集群运维手册【61页】.docx

    《大数据经典文档:CDH集群运维手册》是针对大数据领域中Cloudera Distribution Including Hadoop (CDH)集群运维的专业指南。本手册详尽地介绍了如何有效地管理和维护CDH集群,确保系统的稳定运行和高效性能。 一、...

    CDH集群安装与升级

    ### CDH集群安装与升级知识点概览 #### 一、CDH集群概述 **Cloudera Distribution Including Apache Hadoop (CDH)** 是由Cloudera公司提供的基于Apache Hadoop的企业级大数据处理平台。CDH集成了众多开源项目,...

    大数据【经典文档】:CDH集群部署安装运维手册【61页】.docx

    《大数据经典文档:CDH集群部署安装运维手册》是一...此手册的61页内容涵盖了CDH集群从基础到高级的各种运维任务,对于大数据运维团队来说是一份宝贵的参考资料,可帮助提升运维效率,确保大数据平台的高效、稳定运行。

    大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler.pdf

    大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler是大数据领域的一种解决方案,使用CDH6.3.2集群模式和Dolphinscheduler实现大数据处理和分析。该解决方案需要进行前期准备,包括基础环境配置、JDK安装、...

    CDH 6.2.0 集群安装-v54-20200625_213559.pdf

    大数据集群6.2.0离线搭建文档,精心一个星期进行实践编写,报错信息截图详解,报错信息及重要提示处理,离线安装。

    CDH5.11集群搭建文档

    CDH5.11集群搭建文档,包括环境配置、mysql安装、cdh配置,以及一些遇到的错误问题解决方法

    Cloudera CDH集群运维手册

    《Cloudera CDH集群运维手册》是一份深入解析Cloudera CDH集群管理与运维的详尽指南,尤其适合已经或计划使用Cloudera CDH进行大数据处理的团队参考。Cloudera CDH(Cloudera Distribution Including Apache Hadoop...

Global site tag (gtag.js) - Google Analytics