mac中如何设置java 环境变量?
/Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
首先 cd /Library/java/JavaVirtualMachines
mac下java默认安装到Library/java/JavaVirtualMachines,进去后查看安装的java的版本,修改下版本即可
参考文献:http://www.coderli.com/install-hadoop-on-mac
建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
创建ssh-key,这里我们采用rsa方式;
ssh-keygen -t rsa -P ""
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
可以使用ssh 主机名测试一下是否成功。
找到core-site.xml,配置信息如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
修改hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
温馨提示:需要在本机器上创建/usr/local/hadoop/tmp文件夹
修改mapred-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
启动hadoop
在主机上的hadoop安装目录下的bin目录下,执行格式化
./hadoop namenode -format
启动所有结点:
./start-all.sh
在操作的过程中遇到了DataNode不能启动的问题,经过查看node的hadoop的日志,发现提示错误信息:
org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
经过查找是因为权限的问题,于是
sudo chmod 755 “你配置的data目录
参考文献:http://cache.baiducontent.com/c?m=9d78d513d99912f905b0d6690d67d471182497634bc0d1657fc39339c5371d12506692ac56280777d9d20d1316d93e48adb0687d6d4566f58cc9fb57c0fed76d388850652c4cd81c47920eafbc17789e3dd103a2f04efaf8ed3390a8d5d5da5e44ca245f3cdfae&p=8d66da5686cc41ac52bcc7710f5583&newp=aa7ec64ad4970af908e2947d075797231610db2151d2da152b9fc5&user=baidu&fm=sc&query=hadoop+1%2E2+data+%C8%A8%CF%DE&qid=&p1=8
- 浏览: 813654 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (413)
- 项目 (12)
- 统计分析 (3)
- java (7)
- jquery (15)
- oracle (33)
- 面试题 (8)
- 排序算法 (3)
- 蛇形矩阵算法 (3)
- 字符串 (1)
- ICU分析插件 (1)
- html5 (1)
- Ubuntu (4)
- Linux (4)
- memcache (2)
- myeclipse (3)
- hadoop (18)
- hbase (14)
- hive (7)
- zookeeper (2)
- pig (0)
- mysql (11)
- Redis (8)
- MongoDB (7)
- Cassandra (0)
- Neo4j (0)
- springMVC (3)
- ibatis (1)
- mahout (0)
- Highcharts (1)
- maven (7)
- 生活随笔 (6)
- 存储过程 (4)
- mybatis (3)
- bootstrap (19)
- 工作中遇到的问题 (23)
- node.js (3)
- web前段 (6)
- AngularJS (5)
- GIT (2)
- nginx (5)
- hive,sqoop (1)
- 高并发 (2)
- 算法 (3)
- 工具类 (2)
- ckeditor (1)
- java代码自动生成 (3)
- ueditor (6)
- svn (4)
- easyui (3)
- 数据挖掘 (4)
- ligerUi (1)
- fullcalendar (1)
- 微信公众号开发 (1)
- tomcat (2)
- 面试 (7)
- 数据库性能优化 (2)
- R语言 (3)
- R (6)
- ylcf (39)
- CentOS (13)
- docker (28)
- Spring Boot (10)
- Nexus (1)
- thymeleaf (2)
- nodejs (2)
- swagger (1)
- Jenkins (1)
- SpringCloud (9)
- vue (1)
- springClould问题汇总 (3)
- layui (1)
最新评论
-
greatwqs:
在前置请求页面返回token, 在提交接口中验证token, ...
Spring MVC 用拦截器+token防止重复提交 -
zhukewen_java:
这种方法的缺陷在于如果请求了两个save=true的方法,后面 ...
Spring MVC 用拦截器+token防止重复提交 -
byrgl5:
请问如果重复提交了三次呢?能避免吗?
Spring MVC 用拦截器+token防止重复提交 -
381895649:
是不是有病?
服务器被如下ip攻击,如何根据ip超找攻击来源 -
greatwqs:
最棒的10款MySQL管理工具
发表评论
-
大数据日志数据分析
2014-07-26 11:11 2430大数据日志分析: 1.背景 1.1 黑马论坛日志,数据分 ... -
MapReduce 中的两表 join 几种方案简介
2014-07-24 15:54 8411. 概述 在传统数据库 ... -
学习Hadoop不错的系列文章
2014-06-19 15:32 855学习Hadoop不错的系列文章 1)Hadoop学习 ... -
科普文—常见的45个问题解答(数据挖掘之Hadoop)
2014-06-19 15:29 929Hadoop科普文—常见的45个问题解答 •Hadooph ... -
namenode故障恢复
2014-04-10 22:54 1292一、dits和fsimage 首先要提到两个文 ... -
hadoop培训笔记
2014-04-10 00:28 3582# hadoop前言# Hadoop试验集群的部署结构# ... -
hadoop+hbase+hive
2014-04-09 21:55 609讲解提纲 Hadoop框架 H ... -
深入Hadoop HDFS
2014-04-08 07:46 896深入Hadoop HDFS 1. hd ... -
eclipse安装hadoop插件
2014-04-05 00:05 1216在eclipse中配置hadoop插件 1.安装插件 ... -
如何使用Hadoop读写数据库
2014-04-04 15:58 1159在我们的一些应用程序中,常常避免不了要与数据库进行交互,而在 ... -
hadoop实战面试题
2014-04-03 20:18 14551 使用Hive或者自定义MR实现如下逻辑 product ... -
hadoo面试题
2014-04-03 20:17 1016本帖最后由 pig2 于 2014-2-11 14:20 ... -
hadoop环境配置
2014-04-02 22:58 799vi 编辑 /etc/profile export JAVA_ ... -
用Maven构建Hadoop项目
2014-04-02 22:57 1379Sep 30, 2013 用Maven构 ... -
用Hadoop构建电影推荐系统
2014-04-02 22:51 1198Hadoop家族系列文章,主要介绍Hadoo ... -
海量Web日志分析 用Hadoop提取KPI统计指标
2014-04-02 22:39 1255Hadoop家族系列文章,主要介绍Hadoop家族产品,常 ... -
Hadoop伪分布模式搭建
2013-10-31 00:11 2074Hadoop伪分布模式搭建 首先要了解一下H ...
相关推荐
Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...
### Hadoop安装教程:单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架,广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本,包括单机模式...
### Linux下载、安装、JDK配置、Hadoop安装相关知识点 #### 一、Linux环境准备与安装 **1.1 Linux版本选择** - **CentOS 6.5**:适用于本教程,是一款稳定且广受支持的企业级操作系统。 **1.2 下载Linux** - **...
《Hadoop安装部署详解》 Hadoop,作为Google文件系统(GFS)的开源实现,是分布式计算领域的重要工具,其强大的数据处理能力和高容错性吸引了众多开发者和企业的关注。本文将详细介绍如何在Linux环境下安装和部署...
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, ...
Hadoop安装部署手册是针对初学者的全面指南,旨在帮助用户了解和实践Hadoop的安装与运行。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据集。以下是详细的步骤和关键知识点:...
### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架,用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据,适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和...
### Hadoop安装过程详解 #### 一、概述 Hadoop是一种能够处理大量数据的大规模分布式存储与计算框架,常用于构建大数据分析平台。本文档基于一位用户的实践经历,详细介绍了如何在虚拟机环境下安装和配置Hadoop的...
### Hadoop 安装详细指南 #### 一、概述 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文档详细介绍了如何在CentOS 7环境下部署Hadoop 2.7.3的完全分布式环境。此教程适合希望在多台服务器之间...
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架,用于分布式存储和处理大型数据集。本文将详细介绍如何在CentOS 5.5环境下搭建一个包含1个NameNode节点和2个DataNode节点的Hadoop集群,并通过一...
Hadoop安装-保你一次成功
【Hadoop安装教程_伪分布式配置_CentOS6.4】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。本教程针对的是在CentOS 6.4操作系统上安装Hadoop 2.6.0的伪分布式配置,这种...
三、Hadoop安装与部署 1. 环境准备:确保具备多台Linux服务器,安装Java环境,配置SSH无密码登录。 2. 下载Hadoop:从Apache官方网站获取最新稳定版本的Hadoop,解压到服务器。 3. 配置环境变量:在`~/.bashrc`或`~/...
Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程Hadoop安装使用教程...
hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04 本教程主要讲述了在 Ubuntu 16.04 环境下安装 Hadoop 2.7.1 的步骤,包括单机模式、伪分布式模式和分布式模式三种安装方式。以下是本教程的知识点总结...
二、Hadoop安装 1. 环境准备:确保系统为Linux环境,因为Hadoop通常在Linux服务器上运行。同时,需要安装Java环境,因为Hadoop依赖Java运行。 2. 下载Hadoop:访问Apache官方网站下载最新稳定版的Hadoop二进制包。 3...