- 浏览: 298194 次
文章分类
最新评论
-
feargod:
...
ActivityGroup的子activity响应back事件的顺序问题 -
hoarhoar:
谢谢你,终于解决了,我真是受够了,总是45秒钟,真是疯了。
youku 的广告必须要屏蔽 -
lilai:
...
youku 的广告必须要屏蔽 -
aijuans2:
...
youku 的广告必须要屏蔽 -
weiwo1978:
说的非常好,mark
SELECT语句执行的顺序
最近想研究并行计算,于是拿hadoop来学习一下,打算在linux上开发hadoop,选定容易上手的ubuntu作为环境,在vmware的虚拟机上。
准备工具就不用多说了,vmware + ubuntu9.04,在vmware上安装好ubuntu,确保ubuntu可以上网。下面的步骤是根据个人爱好了,我习惯了ssh+vnc来操作来操作linux,这样我可以让ubuntu在后台运行,直接在win7里操作。
首先,安装openssh server在ubuntu上,有了ssh,win7与ubuntu之间的复制,粘帖将变的很容易。
$sudo apt-get install opensshserver
在win7下登录putty,通过ssh来访问ubuntu吧,现在可以把vmware关掉,在后台运行了。
接下来,配置apt 的source list,这样在执行apt-get的时候,下载会很快,我选择的tw的源,速度不错。
$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$sudo vi /etc/apt/sources.list
修改sources.list内容为
deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
$sudo apt-get update (这一步很关键哈,别忘记了)
安装vnc server,方便的图形界面操作,为后面hadoop+eclipse开发做准备。
$sudo apt-get install vnc4server
安装好之后,启动vncserver,
$vncserver :1
然后输入密码,确定就ok了
$sudo vi ~/.vnc/xstartup
修改vnc配置文件,注释掉#twm &, 添加 gnome-session &
发表评论
-
hadoop FSNamesystem中的recentInvalidateSets
2012-04-20 20:28 1019今天早就回来了,然后偷懒了2个小时,现在才开始分析代码, ... -
hadoop namenode后台jetty web
2012-04-20 20:28 1700现在开始分析namenode启动时开启的第2类线程, ... -
hadoop namenode format做了什么?
2012-04-18 20:58 1166一看到format就和磁盘格式化联想到一起,然后这个fo ... -
hadoop分布式配置(服务器系统为centos5,配置时使用的用户是root)
2012-04-14 21:19 1069目前我们使 ... -
hadoop系列A:多文件输出
2012-04-14 21:18 1498package org.myorg; import ... -
Hadoop 安装问题和解决方案
2012-04-10 13:21 1267前几天在Window和Linux主机安装了Hadoop, ... -
运行Hadoop遇到的问题
2012-04-10 13:19 1619运行Hadoop遇到的问题 1, 伪分布式模式 ... -
运行Hadoop遇到的问题
2012-04-10 13:19 0运行Hadoop遇到的问题 1, 伪分布式模式 ... -
hadoop使用过程中的一些小技巧
2012-04-09 10:16 1176hadoop使用过程中的一些小技巧 ------------- ... -
运行hadoop时的一些技巧
2012-04-09 10:14 772//用来给key分区的,需要实现Partitioner接口 ... -
hive相关操作文档收集
2012-04-08 10:51 0How to load data into Hive ... -
hive sql doc
2012-04-08 10:51 0记录2个常用的hive sql语法查询地 官方 ht ... -
hive Required table missing : "`DBS`" in Catalog "" Schema "
2012-04-08 10:51 0最近需要提取一些数据,故开始使用hive,本机搭建了一个hiv ... -
HDFS数据兼容拷贝
2012-04-08 10:50 0系统中使用了hadoop 19.2 20.2 2个版本,为啥有 ... -
hdfs 简单的api 读写文件
2012-04-08 10:50 0Java代码 import ... -
hbase之htable线程安全性
2012-04-22 15:22 1198在单线程环境下使用hbase的htable是没有问题,但是突然 ... -
hbase之scan的rowkey问题
2012-04-22 15:22 1780最近使用到hbase做存储,发现使用scan的时候,返回的ro ... -
datanode启动开启了那些任务线程
2012-04-22 15:22 1095今天开始分析datanode,首先看看datanode开启了哪 ... -
namenode这个类的主要功能
2012-04-22 15:22 1552今天来总看下namenode这个类的主要功能 首先看下这个类 ... -
hadoop监控
2012-04-22 15:21 1601通过从hadoop的 hadoop-metrics文件中就可以 ...
相关推荐
【Hadoop入门-01-集群搭建】 Hadoop是一个由Apache基金会所开发的开源分布式计算框架,它旨在处理和存储海量数据。Hadoop的核心组件包括HDFS(分布式文件系统)、YARN(运算资源调度系统)以及MAPREDUCE(分布式...
对于初次使用者,推荐参考Hadoop快速入门指南;对于大型分布式集群环境,则需查阅Hadoop集群设置文档,以确保系统能够高效稳定地运行Map-Reduce任务。 #### 概览 Hadoop Map-Reduce将输入数据集分割成独立的块,...
1. **项目创建与管理**:用户可以在Eclipse中直接创建Hadoop MapReduce项目,插件会自动生成必要的项目结构和模板代码,便于快速入门。 2. **资源管理**:插件允许用户浏览和管理HDFS(Hadoop Distributed File ...
1. **项目创建与管理**:该插件允许开发者直接在Eclipse中创建Hadoop MapReduce或YARN项目,无需手动配置复杂的环境变量。它会自动处理Hadoop依赖库的引入,使得项目构建更加便捷。 2. **源代码编辑与提示**:通过...
【Hadoop入门教程】 Hadoop是一个开源的分布式计算框架,主要设计用于处理和存储大量数据。这个教程将指导你如何在Ubuntu 12.04操作系统上安装和配置Hadoop 1.0.4,这对于初学者来说是一个很好的起点。 **1. 安装...
Hadoop入门手册的高清版确保了阅读体验,清晰的文字和图表有助于理解复杂的概念。书签版则使得在大量内容中快速定位特定章节变得轻松,这对于深入学习和查找特定知识点极其重要。以下是对Hadoop开发者入门中主要知识...
《Hadoop实战-陆嘉恒(高清完整版)》是一本深入浅出介绍Hadoop技术的书籍,尤其适合初学者作为入门教材。Hadoop作为大数据处理领域的基石,其重要性不言而喻。这本书详细讲解了Hadoop的核心概念、架构以及实际应用,...
【Hadoop入门教程】 本文将带你逐步了解如何在Ubuntu虚拟机中安装配置Hadoop,并使用Eclipse进行Hadoop程序开发。教程适用于初学者,旨在帮助你快速掌握Hadoop的基础知识。 1. **JDK安装与配置** 在开始Hadoop的...
这份说明通常会涵盖如何配置Hadoop环境,如何在Eclipse中创建Hadoop项目,以及如何调试和运行MapReduce任务等内容。遵循这些步骤,即使是初学者也能快速上手,提高开发效率。 总的来说,Hadoop Eclipse Plugin ...
- **安装和配置Hadoop 2.x**:详细介绍如何在个人计算机或服务器上安装和配置Hadoop 2.x环境,包括必要的软件包和依赖项。 - **理解YARN的工作原理**:深入讲解YARN作为资源管理器的作用,以及它是如何协调和分配...
"Hadoop入门到精通"的学习资料旨在帮助初学者掌握这一强大的框架,并逐步晋升为专家。以下是对Hadoop及其相关概念的详细解读。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源框架,主要用于处理和存储大...
### Hadoop入门学习文档知识点梳理 #### 一、大数据概论 ##### 1.1 大数据概念 - **定义**:大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 - **特点**: - **Volume(大量)...
本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...
9. 总结:这个“windows-hadoop-2.7.4-bin”压缩包为Windows用户提供了一种在本地环境运行Hadoop的便捷途径,降低了大数据处理技术的入门门槛。不过,为了获得更好的性能和稳定性,生产环境中通常推荐在Linux集群上...
### Hadoop快速入门介绍 #### 一、Hadoop简介 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。它能够在廉价的商用硬件上运行,并且具有高可靠性和可扩展性。Hadoop的核心组件包括HDFS(Hadoop ...
《Hadoop入门实战手册》是一本专为初学者设计的中文版指南,旨在帮助读者快速掌握Hadoop这一分布式计算框架的基础知识和实际操作技巧。Hadoop是Apache软件基金会的一个开源项目,它为海量数据处理提供了可靠的分布式...
- **软件安装**:遵循官方文档进行安装,配置Hadoop环境变量,并进行初始化设置。 - **参数调优**:根据实际负载调整HDFS和MapReduce的配置参数,如副本数量、内存分配等。 - **监控和维护**:使用Ambari等工具监控...
本文档旨在提供一个详细的Hadoop-1.2.1版本的安装教程,特别针对Red Hat Enterprise Linux 6.0操作系统,并涵盖两台虚拟机之间的配置过程。 #### 二、系统要求 - **硬件**: 至少两台虚拟机。 - **操作系统**: Red ...