详细参见:http://hadoop.apache.org/docs/r0.19.0/distcp.html#cpver
DistCp(分布式复制)是一种hadoop提供的工具,用于大集群间大量数据复制。
基本的用法:
1.DistCp最常见的调用是一个集群之间的拷贝
bash$ hadoop distcp hdfs://nn1:8020/foo/bar \
hdfs://nn2:8020/bar/foo
【Note:】that DistCp expects absolute paths
2.也可以在命令行上指定多个源目录:
bash$ Hadoop distcp hdfs://nn1:8020/foo/a \
hdfs://nn1:8020/foo/b \
hdfs://nn2:8020/bar/foo
3.HDFS的版本之间的复制
对于复制集群为两个不同版本的Hadoop,通常会使用HftpFileSystem。这是一个只读的文件系统,所以DistCp必须运行在目标群。
hftp://<dfs.http.address>/<path> (the default dfs.http.address is amenode>:50070).
分享到:
相关推荐
hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理
Flink实现 Hadoop distcp
distcp一般用于在两个HDFS集群中传输数据,如果集群在hadoop的同一版本上运行,就适合使用hdfs方案: % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
java运行依赖jar包
【Hadoop中文乱码问题详解】 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储(HDFS)和分布式计算(MapReduce)的能力。然而,在处理包含中文字符的数据时,用户可能会遇到中文乱码的问题...
本实验主要介绍了 HBase 数据迁移与数据备份和恢复的方法,包括使用 Sqoop 将 MySQL 数据导入到 HBase、将文本文件批量导入 HBase、使用 Hadoop DistCp 实现 HBase 的冷备份和热备份。 一、使用 Sqoop 将 MySQL ...
The full dataset is stored on Amazon S3 in the hadoopbook bucket, and if you have an AWS account you can copy it to a EC2-based Hadoop cluster using Hadoop’s distcp command (run from a machine in the...
distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝...
- **`hadoop distcp hdfs://src/hdfs://dest`**:从源HDFS复制数据到目标HDFS。 #### 4. **hadoop dfsadmin** 用于HDFS集群的管理,如报告、格式化和安全设置等。 - **`hadoop dfsadmin -report`**:显示HDFS集群...
3. **hadoop-tools-1.2.1.jar**:这个组件包含了Hadoop的各种实用工具,如Hadoop分布式文件系统的命令行工具(如hadoop fs)、数据转换工具(如Hadoop Archive, Hadoop DistCp)以及其他的辅助工具。 4. **hadoop-...
10. **Hadoop DistCp**:一个用于大规模数据复制和同步的工具,可以高效地在HDFS和其他文件系统之间移动数据。 通过`hadoop-client-modules.rar`,开发者可以访问这些模块,实现对Hadoop集群的访问和管理,进行数据...
- `hadoop-tools`:提供了一系列工具,如HDFS命令行工具、Hadoop DistCp(分布式复制)、GFS(Google File System)兼容接口等。 6. **构建与测试**: - `build.xml`:Ant构建脚本,用于编译、打包和测试源代码。...
在这种情况下,一种常见的方法是使用Hadoop的DistCp(Distributed Copy)工具。然而,值得注意的是,这种迁移方式需要停止源集群的服务,因此在实际操作前需要对业务影响进行全面评估。 迁移的第一步是在源集群上禁用...
标签“tools”可能指的是一系列Hadoop附带的实用工具,如hadoop fs(文件系统操作)、hadoop jar(执行jar文件中的MapReduce任务)、hadoop distcp(分布式复制)等。这些工具对于开发者和管理员在日常工作中管理和...
用法:hadoop distcp <srcurl> 。其中,srcurl 是源 Url,desturl 是目标 Url。 #### fs fs 命令用于运行一个常规的文件系统客户端。用法:hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]。各种命令选项可以参考 ...
- `hadoop distcp`:用于在两个HDFS之间复制数据。 - `hadoop fsck /`:检查HDFS文件系统的完整性。 总之,Hadoop Shell及其相关的脚本为Hadoop的部署、管理和日常维护提供了强大的支持。熟练掌握这些工具的使用...
- `hadoop distcp`:分布式复制,可以在HDFS集群之间复制大量数据。 - `hadoop fs`:执行文件系统命令,如查看目录、删除文件等。 - `hadoop job`:执行MapReduce作业相关操作。 5. Hadoop配置文件 Hadoop的...
简介Hadoop Distcp(Distributed copy)主要是用于 Hadoop 文件系统内部或之间进行大规模数据复制的工具,它基于 Map/Redu
- **用法**: `hadoop distcp <srcurl> <desturl>` - **选项**: - `<srcurl>`: 源URL。 - `<desturl>`: 目标URL。 ##### fs 提供了一种操作Hadoop文件系统的简便方法,可以进行文件和目录的操作,如创建、删除、...
通过`hadoop fs -test -d /testdir`创建测试目录,然后运行`hadoop distcp /dev/null /testdir`填充数据。最后,使用`hadoop fs -du -s /testdir`和`hadoop fs -count /testdir`检查数据的大小和数量。 Tersort基准...