`
stephen80
  • 浏览: 103885 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 学习过程

阅读更多
1. quickstart
   主要是配置 JAVA_HOME
2. hdfs
    hdfs_design ,中文
    http://www.blogjava.net/killme2008/archive/2008/06/05/206043.html
    明白了 hdfs 架构。
   
    hdfs_user_guide ,
    http://www.blogjava.net/killme2008/archive/2008/08/14/222097.html
    进一步明白了。
3. 实际操作
   参考
     http://www.infoq.com/cn/articles/hadoop-config-tip。
   log:
     修改了 export.
   hadoop_site.xml:
    用 ip.
4. bin/start-all.sh
   bin/hadoop fs -mkdir test1
   访问:
     http://*:50070
     http://*:50030
   一起ok.
   查看 log :
5.
  在 windows,用 cygwin
  把 hadoop_site.xml 搞成与服务器一样
  
  访问 bin/hadoop fs -ls /
   ok.

6. 下一步准备 fileacessapi.

感觉:
  很多中文翻译挺有用。
分享到:
评论

相关推荐

    Hadoop学习资料

    数据挖掘是通过算法从大数据集中提取模式和知识的过程,它是机器学习的重要分支。推荐系统是数据挖掘应用的一个方向,主要用于预测用户可能感兴趣的对象。推荐算法包括基于内容的推荐方法和基于协同过滤的推荐方法等...

    java及hadoop学习资料

    而“特价淘-更多的优惠等你来.url”可能是促销信息,对于学习过程可能不是直接相关,但可能为购买相关教材或工具提供优惠。 总的来说,这个压缩包为Java和Hadoop的学习者提供了一个全面的学习路径,涵盖了理论知识...

    hadoop学习常见问题(手动整理)

    ### Hadoop学习常见问题解析 #### Namenode问题 ...通过上述方法,可以有效地解决Hadoop学习过程中常见的Namenode问题、启动问题、环境变量问题以及权限问题,帮助初学者更好地掌握Hadoop的使用技巧。

    最新Hadoop学习笔记

    本笔记将从环境搭建、HDFS配置、YARN配置、分布式配置到MapReduce编程,全方位介绍Hadoop的学习过程,并结合JavaWeb项目实践,帮助读者深入理解Hadoop的工作原理和应用。 ### 一、环境搭建 在开始Hadoop的学习之前...

    Hadoop学习总结.doc

    ### Hadoop 学习总结 #### 一、HDFS简介 **1.1 数据块(Block)** HDFS(Hadoop Distributed File System)是Hadoop的核心组件之一,它主要用于存储大规模的数据集。HDFS默认的基本存储单位是64MB的数据块。与...

    Hadoop学习总结和源码分析

    接下来,“Hadoop学习总结之二:HDFS读写过程解析.doc”详细解释了HDFS的数据读写流程。在写入数据时,客户端首先与NameNode通信获取数据块位置,然后将数据分块并发送到各个DataNode。在读取数据时,客户端同样先...

    Hadoop入门学习文档

    ### Hadoop入门学习文档知识点梳理 #### 一、大数据概论 ##### 1.1 大数据概念 - **定义**:大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 - **特点**: - **Volume(大量)...

    hadoop入门学习文档

    ### Hadoop 入门学习知识点概览 #### Hadoop 是什么? Hadoop 是 Apache 基金会下的一款开源软件框架,旨在通过集群的方式高效地处理大规模数据集。Hadoop 提供了分布式文件系统(HDFS)、运算资源调度系统(YARN...

    3.Hadoop学习笔记.pdf

    MapReduce的核心思想是将计算过程分为Map(映射)和Reduce(归约)两个阶段。Map阶段并行处理输入数据,并输出中间结果;Reduce阶段则将这些中间结果合并成最终输出。 3. YARN(Yet Another Resource Negotiator)...

    Hadoop学习总结

    以下是对Hadoop学习的详细总结: **HDFS(Hadoop Distributed File System)简介** HDFS是Hadoop的核心组件之一,是一个高度容错性的分布式文件系统。它被设计成能在普通的硬件上运行,并能够处理大规模的数据集。...

    hadoop学习资料(一)

    此外,解决Hadoop在实际运行中遇到的问题也是学习过程中的重要环节。 6. **数据处理优化**:Hadoop的性能优化是个关键主题,包括数据压缩以减少网络传输、设置合理的Block大小以提高I/O效率、调整MapReduce的并行度...

    hadoop学习资料

    在学习过程中遇到问题时,可以向孙老师请教,获取及时的帮助和支持。此外,加入相关的学习社区或论坛,与其他学习者互动交流,也是提高学习效率的有效途径之一。 ### 总结 Hadoop作为一款重要的大数据处理工具,其...

    Hadoop学习之路(三)Hadoop-2.7.5在CentOS-6.7上的编译

    ### Hadoop-2.7.5在CentOS-6.7上的编译...Hadoop的学习和实践不仅可以帮助我们更好地理解大数据处理的原理和技术细节,还能为后续进行更高级的大数据平台搭建奠定坚实的基础。希望本文能够对您的学习和工作有所帮助。

    hadoop学习资料汇总

    在学习Hadoop的过程中,理解HDFS的工作原理至关重要。HDFS采用了主从结构,由一个NameNode作为主节点管理元数据,多个DataNode作为从节点存储数据块。NameNode负责目录树的维护、文件与数据块的映射,而DataNode则...

    Hadoop学习时间轴

    根据提供的信息,我们可以详细地解析出关于Hadoop学习时间轴中的关键知识点,这些知识点主要集中在Hadoop的基础架构、MapReduce工作原理以及Hive在实际应用中的优化等方面。 ### Hadoop学习时间轴概述 Hadoop是一...

    Hadoop2.7.7安装过程

    在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖环境。 首先,安装Hadoop的第一步是创建一个专门的用户账户。在本例中,创建了一个名为"hadoop"的用户,这...

    Hadoop的学习(入门).docx

    【Hadoop学习(入门)】 Hadoop是大数据领域的一个核心框架,主要由HDFS(Hadoop Distributed File System)和MapReduce两部分组成,用于处理和存储海量数据。它是一个开源项目,由Apache软件基金会开发,旨在提供...

Global site tag (gtag.js) - Google Analytics