`
朱辉辉33
  • 浏览: 28072 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

Hadoop(一)

阅读更多
今天在诺基亚第一天开始培训大数据,因为之前没接触过Linux,所以这次一起学了,任务量还是蛮大的。
首先下载安装了Xshell软件,然后公司给了账号密码连接上了河南郑州那边的服务器,接下来开始按照给的资料学习,全英文的,头也不讲解,说锻炼我们的学习能力,然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.
   在hdfs下,运行hadoop fs -mkdir /user/hadoop/dir32   //在集群里创建文件夹dir32
   在root或者hdfs下,运行hadoop fs -ls /user/hadoop/dir   //查看集群下文件夹dir32的文件
   在root下,运行touch /home/gos/zhh/zhh_file1.txt    //在本地创建文件 gos是组名 zhh是我名字缩写 这样便于管理 zhh_file1.txt是文件名
   在root下,运行hadoop fs -put /home/gos/zhh/zhh_file2.txt /user/hadoop/dir33 // 将本地文件zhh_file2.txt上传到集群dir33文件夹下
   在hdfs下,运行hadoop  fs -get /user/hadoop/dir33/zhh_file3.txt /home/gos/zhh //将集群里dir33目录下文件zhh_file3.txt下载到本地文件夹zhh中。
   在root下,运行hadoop fs -getmerge /user/hadoop/dir33/zhh_file2.txt /user/hadoop/
dir33/zhh_file3.txt /home/gos/zhh/zhh_temp.txt    //将集群里dir33下两个文件合并后下载到本地zhh文件夹下,并命名为zhh_temp.txt.
   先写这么多吧 刚开始接触 理解的还不深 可能还有错误 明天继续努力。

1
2
分享到:
评论

相关推荐

    A cloud platform basing on hadoop 一个基于hadoop的云平台.zip

    本文将深入探讨如何构建一个基于Hadoop的云平台,并讨论其在人工智能领域的应用。 一、Hadoop基础 Hadoop最初由Apache软件基金会开发,它主要由两个核心组件构成:Hadoop Distributed File System (HDFS) 和 ...

    课程设计 hadoop集群的安装与配置

    Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File ...

    hadoop开发者 一期 二期 三期 四期 pdf

    在Hadoop一期中,通常会涵盖Hadoop的基础概念,包括Hadoop的起源、设计哲学以及它在大数据处理中的核心地位。重点讲解Hadoop的两个主要组件:HDFS(Hadoop Distributed File System)和MapReduce。HDFS是Hadoop的...

    hadoop集群配置过程

    hadoop集群配置 一主两副 hbase zookeeper

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    hadoop的dll文件 hadoop.zip

    Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    hadoop高级应用一

    在IT领域,Hadoop是一个至关重要的技术,尤其在大数据处理和分析方面发挥着核心作用。本教程“Hadoop高级应用一”将深入探讨这个强大的分布式系统基础架构,旨在帮助用户进一步提升在Hadoop生态系统中的技能。 ...

    hadoop2.7.3的hadoop.dll和winutils.exe

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...

    hadoop.dll & winutils.exe For hadoop-2.7.1

    在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...

    hadoop2.7.7对应的hadoop.dll,winutils.exe

    在Hadoop生态系统中,Hadoop 2.7.7是一个重要的版本,它为大数据处理提供了稳定性和性能优化。Hadoop通常被用作Linux环境下的分布式计算框架,但有时开发者或学习者在Windows环境下也需要进行Hadoop相关的开发和测试...

    Linux上Hadoop安装包hadoop-2.7.4.tar.gz

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心设计是解决大数据处理的问题。Hadoop 2.7.4是Hadoop发展过程中的一个重要版本,它提供了许多增强特性和稳定性改进,使得大规模数据处理更加高效和...

    利用ansible 自动 安装Hadoop 集群

    Hadoop作为大数据处理的核心组件,包括HDFS(Hadoop Distributed File System)和MapReduce等模块,构建一个Hadoop集群通常涉及多台服务器的配置、软件安装、服务启动和集群配置。通过Ansible,我们可以简化这个过程...

    hadoop/bin/hadoop.dll

    标题中的"hadoop/bin/hadoop.dll"指出这是一款与Hadoop框架相关的动态链接库(DLL)文件,它位于Hadoop安装目录的"bin"子目录下。在Windows操作系统中,DLL文件是程序运行所必需的组件,它们包含了可执行文件在运行...

    hadoop-2.7.7 linux安装包

    Hadoop 2.7.7是一款开源的分布式计算框架,由Apache基金会所开发。它的核心组件包括分布式文件系统HDFS和离线计算框架MapReduce。Hadoop 2.7.7支持完全分布式集群部署,具有高可靠性、高可扩展性、高容错性等特性。...

    各个版本Hadoop,hadoop.dll以及winutils.exe文件下载大合集

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。它是由Apache软件基金会开发并维护的,旨在实现高效、可扩展的数据处理能力。Hadoop的核心由两个主要组件构成:Hadoop Distributed ...

    hadoop的hadoop.dll和winutils.exe下载

    `hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供Hadoop运行时所需的函数库支持,而`winutils.exe`则是一个实用工具程序,它提供了类似于Linux环境下`hadoop`命令行工具的功能。 首先,我们来详细...

    Hadoop云计算2.0笔记第一课Hadoop介绍

    Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍 Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍中,我们可以了解到 Hadoop 的生态系统特点、Hadoop 生态系统概况、Hadoop 生态系统版本衍化、下一代 Hadoop、Hadoop 学习...

Global site tag (gtag.js) - Google Analytics