- 浏览: 300715 次
-
文章分类
最新评论
-
feargod:
...
ActivityGroup的子activity响应back事件的顺序问题 -
hoarhoar:
谢谢你,终于解决了,我真是受够了,总是45秒钟,真是疯了。
youku 的广告必须要屏蔽 -
lilai:
...
youku 的广告必须要屏蔽 -
aijuans2:
...
youku 的广告必须要屏蔽 -
weiwo1978:
说的非常好,mark
SELECT语句执行的顺序
最近想研究并行计算,于是拿hadoop来学习一下,打算在linux上开发hadoop,选定容易上手的ubuntu作为环境,在vmware的虚拟机上。
准备工具就不用多说了,vmware + ubuntu9.04,在vmware上安装好ubuntu,确保ubuntu可以上网。下面的步骤是根据个人爱好了,我习惯了ssh+vnc来操作来操作linux,这样我可以让ubuntu在后台运行,直接在win7里操作。
首先,安装openssh server在ubuntu上,有了ssh,win7与ubuntu之间的复制,粘帖将变的很容易。
$sudo apt-get install opensshserver
在win7下登录putty,通过ssh来访问ubuntu吧,现在可以把vmware关掉,在后台运行了。
接下来,配置apt 的source list,这样在执行apt-get的时候,下载会很快,我选择的tw的源,速度不错。
$sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
$sudo vi /etc/apt/sources.list
修改sources.list内容为
deb http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-security main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-updates main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-backports main restricted universe multiversedeb-src http://tw.archive.ubuntu.com/ubuntu jaunty-proposed main restricted universe multiverse
$sudo apt-get update (这一步很关键哈,别忘记了)
安装vnc server,方便的图形界面操作,为后面hadoop+eclipse开发做准备。
$sudo apt-get install vnc4server
安装好之后,启动vncserver,
$vncserver :1
然后输入密码,确定就ok了
$sudo vi ~/.vnc/xstartup
修改vnc配置文件,注释掉#twm &, 添加 gnome-session &
发表评论
-
hadoop FSNamesystem中的recentInvalidateSets
2012-04-20 20:28 1027今天早就回来了,然后偷懒了2个小时,现在才开始分析代码, ... -
hadoop namenode后台jetty web
2012-04-20 20:28 1710现在开始分析namenode启动时开启的第2类线程, ... -
hadoop namenode format做了什么?
2012-04-18 20:58 1173一看到format就和磁盘格式化联想到一起,然后这个fo ... -
hadoop分布式配置(服务器系统为centos5,配置时使用的用户是root)
2012-04-14 21:19 1070目前我们使 ... -
hadoop系列A:多文件输出
2012-04-14 21:18 1506package org.myorg; import ... -
Hadoop 安装问题和解决方案
2012-04-10 13:21 1270前几天在Window和Linux主机安装了Hadoop, ... -
运行Hadoop遇到的问题
2012-04-10 13:19 1623运行Hadoop遇到的问题 1, 伪分布式模式 ... -
运行Hadoop遇到的问题
2012-04-10 13:19 0运行Hadoop遇到的问题 1, 伪分布式模式 ... -
hadoop使用过程中的一些小技巧
2012-04-09 10:16 1183hadoop使用过程中的一些小技巧 ------------- ... -
运行hadoop时的一些技巧
2012-04-09 10:14 775//用来给key分区的,需要实现Partitioner接口 ... -
hive相关操作文档收集
2012-04-08 10:51 0How to load data into Hive ... -
hive sql doc
2012-04-08 10:51 0记录2个常用的hive sql语法查询地 官方 ht ... -
hive Required table missing : "`DBS`" in Catalog "" Schema "
2012-04-08 10:51 0最近需要提取一些数据,故开始使用hive,本机搭建了一个hiv ... -
HDFS数据兼容拷贝
2012-04-08 10:50 0系统中使用了hadoop 19.2 20.2 2个版本,为啥有 ... -
hdfs 简单的api 读写文件
2012-04-08 10:50 0Java代码 import ... -
hbase之htable线程安全性
2012-04-22 15:22 1202在单线程环境下使用hbase的htable是没有问题,但是突然 ... -
hbase之scan的rowkey问题
2012-04-22 15:22 1785最近使用到hbase做存储,发现使用scan的时候,返回的ro ... -
datanode启动开启了那些任务线程
2012-04-22 15:22 1102今天开始分析datanode,首先看看datanode开启了哪 ... -
namenode这个类的主要功能
2012-04-22 15:22 1567今天来总看下namenode这个类的主要功能 首先看下这个类 ... -
hadoop监控
2012-04-22 15:21 1605通过从hadoop的 hadoop-metrics文件中就可以 ...
相关推荐
【Hadoop入门-01-集群搭建】 Hadoop是一个由Apache基金会所开发的开源分布式计算框架,它旨在处理和存储海量数据。Hadoop的核心组件包括HDFS(分布式文件系统)、YARN(运算资源调度系统)以及MAPREDUCE(分布式...
对于初次使用者,推荐参考Hadoop快速入门指南;对于大型分布式集群环境,则需查阅Hadoop集群设置文档,以确保系统能够高效稳定地运行Map-Reduce任务。 #### 概览 Hadoop Map-Reduce将输入数据集分割成独立的块,...
1. **项目创建与管理**:用户可以在Eclipse中直接创建Hadoop MapReduce项目,插件会自动生成必要的项目结构和模板代码,便于快速入门。 2. **资源管理**:插件允许用户浏览和管理HDFS(Hadoop Distributed File ...
1. **项目创建与管理**:该插件允许开发者直接在Eclipse中创建Hadoop MapReduce或YARN项目,无需手动配置复杂的环境变量。它会自动处理Hadoop依赖库的引入,使得项目构建更加便捷。 2. **源代码编辑与提示**:通过...
1. **Hadoop Common**:这是Hadoop体系的基础模块,为其他子项目提供通用的功能和服务,比如配置管理和日志操作。 2. **Avro**:由Doug Cutting领导的RPC项目,类似于Google的Protocol Buffers和Facebook的Thrift,...
【Hadoop入门教程】 Hadoop是一个开源的分布式计算框架,主要设计用于处理和存储大量数据。这个教程将指导你如何在Ubuntu 12.04操作系统上安装和配置Hadoop 1.0.4,这对于初学者来说是一个很好的起点。 **1. 安装...
Hadoop入门手册的高清版确保了阅读体验,清晰的文字和图表有助于理解复杂的概念。书签版则使得在大量内容中快速定位特定章节变得轻松,这对于深入学习和查找特定知识点极其重要。以下是对Hadoop开发者入门中主要知识...
【Hadoop入门教程】 本文将带你逐步了解如何在Ubuntu虚拟机中安装配置Hadoop,并使用Eclipse进行Hadoop程序开发。教程适用于初学者,旨在帮助你快速掌握Hadoop的基础知识。 1. **JDK安装与配置** 在开始Hadoop的...
这份说明通常会涵盖如何配置Hadoop环境,如何在Eclipse中创建Hadoop项目,以及如何调试和运行MapReduce任务等内容。遵循这些步骤,即使是初学者也能快速上手,提高开发效率。 总的来说,Hadoop Eclipse Plugin ...
- **安装和配置Hadoop 2.x**:详细介绍如何在个人计算机或服务器上安装和配置Hadoop 2.x环境,包括必要的软件包和依赖项。 - **理解YARN的工作原理**:深入讲解YARN作为资源管理器的作用,以及它是如何协调和分配...
在本文中,我们将深入探讨如何配置Hadoop 2.2.0环境,这是一个适用于新手的详细教程。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理和存储大量数据。Hadoop 2.2.0版本引入了一些...
"Hadoop入门到精通"的学习资料旨在帮助初学者掌握这一强大的框架,并逐步晋升为专家。以下是对Hadoop及其相关概念的详细解读。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源框架,主要用于处理和存储大...
### Hadoop入门学习文档知识点梳理 #### 一、大数据概论 ##### 1.1 大数据概念 - **定义**:大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 - **特点**: - **Volume(大量)...
本文将详细介绍如何在本地环境中进行Hadoop2.7.5与HBase1.2.6的伪分布式安装,这是一个适合初学者入门的实践教程。 Hadoop是Apache基金会的一个开源项目,主要由HDFS(Hadoop Distributed File System)和MapReduce...
9. 总结:这个“windows-hadoop-2.7.4-bin”压缩包为Windows用户提供了一种在本地环境运行Hadoop的便捷途径,降低了大数据处理技术的入门门槛。不过,为了获得更好的性能和稳定性,生产环境中通常推荐在Linux集群上...
### Hadoop快速入门介绍 #### 一、Hadoop简介 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。它能够在廉价的商用硬件上运行,并且具有高可靠性和可扩展性。Hadoop的核心组件包括HDFS(Hadoop ...
《Hadoop入门实战手册》是一本专为初学者设计的中文版指南,旨在帮助读者快速掌握Hadoop这一分布式计算框架的基础知识和实际操作技巧。Hadoop是Apache软件基金会的一个开源项目,它为海量数据处理提供了可靠的分布式...
本教程中的环境配置如下: - **操作系统**:CentOS 6.6 64位 - **硬件配置**:单核CPU,1GB内存 - **软件配置**: - JDK 1.7.0_55 64位 - Hadoop 1.1.2 - **系统用户**:shiyanlou - **目录结构**:在系统根目录...
- **软件安装**:遵循官方文档进行安装,配置Hadoop环境变量,并进行初始化设置。 - **参数调优**:根据实际负载调整HDFS和MapReduce的配置参数,如副本数量、内存分配等。 - **监控和维护**:使用Ambari等工具监控...
本文档旨在提供一个详细的Hadoop-1.2.1版本的安装教程,特别针对Red Hat Enterprise Linux 6.0操作系统,并涵盖两台虚拟机之间的配置过程。 #### 二、系统要求 - **硬件**: 至少两台虚拟机。 - **操作系统**: Red ...