`

hadoop入门-环境配置一

阅读更多

 

最近想研究并行计算,于是拿hadoop来学习一下,打算在linux上开发hadoop,选定容易上手的ubuntu作为环境,在vmware的虚拟机上。

准备工具就不用多说了,vmware + ubuntu9.04,在vmware上安装好ubuntu,确保ubuntu可以上网。下面的步骤是根据个人爱好了,我习惯了ssh+vnc来操作来操作linux,这样我可以让ubuntu在后台运行,直接在win7里操作。

首先,安装openssh server在ubuntu上,有了ssh,win7与ubuntu之间的复制,粘帖将变的很容易。

$sudo apt-get install opensshserver

在win7下登录putty,通过ssh来访问ubuntu吧,现在可以把vmware关掉,在后台运行了。

 

接下来,配置apt 的source list,这样在执行apt-get的时候,下载会很快,我选择的tw的源,速度不错。

$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

$sudo vi /etc/apt/sources.list

修改sources.list内容为

deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiverse
deb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiverse
deb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse

deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse

$sudo apt-get update            (这一步很关键哈,别忘记了)

安装vnc server,方便的图形界面操作,为后面hadoop+eclipse开发做准备。

$sudo apt-get install vnc4server

安装好之后,启动vncserver,

$vncserver :1

然后输入密码,确定就ok了

$sudo vi ~/.vnc/xstartup

修改vnc配置文件,注释掉#twm &,  添加  gnome-session &

文件内容如下所示:
#!/bin/sh
# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
xterm -geometry 80×24+10+10 -ls -title “$VNCDESKTOP Desktop” &
#twm &
gnome-session &       (这里,要注意,是要安装gnome的哦,要不然是没用的,apt-get install gnome,,自己安装吧)
在win7里面有open source的vnc client,可以用TightVNC Viewer,登录vnc,输入 ipadress:1 ,然后connect,输入密码,最后就开工吧。
剩下一些习惯的软件安装,
$sudo apt-get install vim
$sudo apt-get install unzip
更多信息请查看 java进阶网 http://www.javady.com
分享到:
评论

相关推荐

    hadoop入门-01-集群搭建.docx

    【Hadoop入门-01-集群搭建】 Hadoop是一个由Apache基金会所开发的开源分布式计算框架,它旨在处理和存储海量数据。Hadoop的核心组件包括HDFS(分布式文件系统)、YARN(运算资源调度系统)以及MAPREDUCE(分布式...

    hadoop map-reduce turorial

    对于初次使用者,推荐参考Hadoop快速入门指南;对于大型分布式集群环境,则需查阅Hadoop集群设置文档,以确保系统能够高效稳定地运行Map-Reduce任务。 #### 概览 Hadoop Map-Reduce将输入数据集分割成独立的块,...

    hadoop-eclipse-plugin-2.7.0.jar

    1. **项目创建与管理**:用户可以在Eclipse中直接创建Hadoop MapReduce项目,插件会自动生成必要的项目结构和模板代码,便于快速入门。 2. **资源管理**:插件允许用户浏览和管理HDFS(Hadoop Distributed File ...

    hadoop2x-eclipse-plugin-master

    1. **项目创建与管理**:该插件允许开发者直接在Eclipse中创建Hadoop MapReduce或YARN项目,无需手动配置复杂的环境变量。它会自动处理Hadoop依赖库的引入,使得项目构建更加便捷。 2. **源代码编辑与提示**:通过...

    hadoop入门教程.pdf

    【Hadoop入门教程】 Hadoop是一个开源的分布式计算框架,主要设计用于处理和存储大量数据。这个教程将指导你如何在Ubuntu 12.04操作系统上安装和配置Hadoop 1.0.4,这对于初学者来说是一个很好的起点。 **1. 安装...

    Hadoop开发者入门-带书签文字版

    Hadoop入门手册的高清版确保了阅读体验,清晰的文字和图表有助于理解复杂的概念。书签版则使得在大量内容中快速定位特定章节变得轻松,这对于深入学习和查找特定知识点极其重要。以下是对Hadoop开发者入门中主要知识...

    Hadoop实战-陆嘉恒(高清完整版)

    《Hadoop实战-陆嘉恒(高清完整版)》是一本深入浅出介绍Hadoop技术的书籍,尤其适合初学者作为入门教材。Hadoop作为大数据处理领域的基石,其重要性不言而喻。这本书详细讲解了Hadoop的核心概念、架构以及实际应用,...

    hadoop入门教程.docx

    【Hadoop入门教程】 本文将带你逐步了解如何在Ubuntu虚拟机中安装配置Hadoop,并使用Eclipse进行Hadoop程序开发。教程适用于初学者,旨在帮助你快速掌握Hadoop的基础知识。 1. **JDK安装与配置** 在开始Hadoop的...

    hadoop-eclipse-plugin-2.7.3

    这份说明通常会涵盖如何配置Hadoop环境,如何在Eclipse中创建Hadoop项目,以及如何调试和运行MapReduce任务等内容。遵循这些步骤,即使是初学者也能快速上手,提高开发效率。 总的来说,Hadoop Eclipse Plugin ...

    Hadoop 2 Quick-Start Guide_ Lea - Douglas Eadline

    - **安装和配置Hadoop 2.x**:详细介绍如何在个人计算机或服务器上安装和配置Hadoop 2.x环境,包括必要的软件包和依赖项。 - **理解YARN的工作原理**:深入讲解YARN作为资源管理器的作用,以及它是如何协调和分配...

    Hadoop入门到精通

    "Hadoop入门到精通"的学习资料旨在帮助初学者掌握这一强大的框架,并逐步晋升为专家。以下是对Hadoop及其相关概念的详细解读。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源框架,主要用于处理和存储大...

    Hadoop入门学习文档

    ### Hadoop入门学习文档知识点梳理 #### 一、大数据概论 ##### 1.1 大数据概念 - **定义**:大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 - **特点**: - **Volume(大量)...

    Hadoop2.7.5-HBase1.2.6伪分布式安装

    本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...

    windows-hadoop-2.7.4-bin

    9. 总结:这个“windows-hadoop-2.7.4-bin”压缩包为Windows用户提供了一种在本地环境运行Hadoop的便捷途径,降低了大数据处理技术的入门门槛。不过,为了获得更好的性能和稳定性,生产环境中通常推荐在Linux集群上...

    Hadoop快速入门介绍文档

    ### Hadoop快速入门介绍 #### 一、Hadoop简介 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。它能够在廉价的商用硬件上运行,并且具有高可靠性和可扩展性。Hadoop的核心组件包括HDFS(Hadoop ...

    Hadoop入门实战手册 中文版)

    《Hadoop入门实战手册》是一本专为初学者设计的中文版指南,旨在帮助读者快速掌握Hadoop这一分布式计算框架的基础知识和实际操作技巧。Hadoop是Apache软件基金会的一个开源项目,它为海量数据处理提供了可靠的分布式...

    hadoop 入门

    - **软件安装**:遵循官方文档进行安装,配置Hadoop环境变量,并进行初始化设置。 - **参数调优**:根据实际负载调整HDFS和MapReduce的配置参数,如副本数量、内存分配等。 - **监控和维护**:使用Ambari等工具监控...

    史上最强Hadoop-1.2.1安装文档

    本文档旨在提供一个详细的Hadoop-1.2.1版本的安装教程,特别针对Red Hat Enterprise Linux 6.0操作系统,并涵盖两台虚拟机之间的配置过程。 #### 二、系统要求 - **硬件**: 至少两台虚拟机。 - **操作系统**: Red ...

Global site tag (gtag.js) - Google Analytics