- 浏览: 1201240 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (1027)
- 拼接字符串小技巧 (1)
- JAVA 模块知识小结 (23)
- Tools (14)
- Android (20)
- ExtJS必学必会 (1)
- Nginx (4)
- 中间件 (9)
- java中间件 (6)
- linux (47)
- 23种设计模式 (15)
- 数据库知识 (15)
- Mycat中间件 (80)
- 华为框架--jalor5 (2)
- 数据库-----DB2 (24)
- 数据库-----ORACLE (47)
- 数据库-----MYSQL (82)
- 大数据 (16)
- 大数据--HBASE (4)
- 大数据--Storm (9)
- 大数据--Hive (5)
- 大数据--Hadoop (11)
- 大数据--ElasticSearch (16)
- 大数据--ZooKeeper (13)
- 大数据--redis (17)
- 大数据--Kafka (26)
- 大数据--MongoDB (9)
- 大数据之Flume (4)
- 大数据--sqoop (3)
- 大数据--SPARK (7)
- 大数据--memcached (1)
- 大数据------Impala (1)
- 大数据--Avro (1)
- 大数据--Apache Pig (1)
- 大数据--Logstash (1)
- 大数据--Kibana 简介 (1)
- 大数据之Impala (1)
- 大数据之Druid-IO介绍 (1)
- 大数据之HUE (1)
- 大数据之Ambari (1)
- 大数据之Presto (1)
- 大数据之Oozie (1)
- 编程语言之Python (4)
- 编程语言--PHP (5)
- 编程语言--Scala (2)
- 编程语言--JAVA之Mybatis (26)
- 编程语言之Ruby (2)
- 编程语言之C (2)
- 编程语言--JAVA之Spring (7)
- 编程语言--JAVA之Struts (1)
- 编程语言JAVA Hibernate (6)
- 编程语言之Kotlin (1)
- 编程语言--JAVA之网络编程 (3)
- 编程语言之Go (3)
- 编程语言之Erlang (1)
- erlang语言 (1)
- 算法研究--查找 (8)
- 算法研究--排序 (10)
- 网络协议 (47)
- 版本控制工具 (6)
- JAVA基础知识 (20)
- 负载均衡 (14)
- Hessian (1)
- 阿里之RocketMQ (5)
- 阿里之Canal (2)
- 阿里之TDDL (1)
- 阿里之DRDS (1)
- 阿里Dubbo框架 (2)
- 阿里JStorm框架 (3)
- 阿里之yugong (2)
- 阿里之Druid框架 (3)
- 阿里之cobar (1)
- Docker (17)
- VPN虚拟专网 (1)
- JFinal (1)
- JAVA语言基础 (23)
- HAProxy简介 (5)
- Netty介绍 (1)
- Squid介绍 (1)
- ZeroMQ (1)
- JVM深入研究 (4)
- Kerberos (1)
- Shiro (1)
- R语言 (2)
- CAS (2)
- Spring Security (1)
- 虚拟化技术 (10)
- python (2)
- Wireshark (1)
- JAVA_WEB 开发 (6)
- I/O模型 (1)
- Apache Mina (1)
- Apache Solr (2)
- Apache Nutch (1)
- Apache nifi (1)
- Apache Phoenix (1)
- Apache Thrift (1)
- Apache --Groovy (2)
- Apache Tika (1)
- Apache JMeter (1)
- Apache 之CouchDB (1)
- Apache之XML-RPC (1)
- 读书笔记 (4)
- 统计分析系统--SAS (1)
- Java Applet (1)
- JAVA之XStream (1)
- java之FreeMarker (1)
- JAVA 之WebWork (1)
- JAVA之velocity 介绍 (1)
- JAVA之Excel的导入(出) (4)
- Node.js (1)
- 信息安全 (2)
- Flex 编程 (1)
- 大数据--Alluxio (1)
- Jenkins (1)
- XDoclet (1)
- Play 框架 (1)
- ESB (2)
- JAVA之SiteMesh (1)
- JAVA 之Tiles (1)
- JAVA之工作流系统 (5)
- Apache之Tajo (1)
- 搜索引擎知识 (1)
- Apache 之Chukwa (1)
- Apache 之 ActiveMQ (2)
- Apache 之Accumulo (1)
- Apache之Lucene (2)
- Apache S4 (2)
- Apache之Tez (1)
- Apache之TOMCAT (3)
- Apache Kylin (1)
- Apache 之Ivy (1)
- Apache之Mesos (1)
- Zenoss (1)
- 阿里妈妈-adhoc之mdrill (1)
- 分布式调用 (5)
- RPC之Zeroc ICE (3)
- Java之RMI (1)
- RPC框架之Apache-XML (1)
- 人工智能系统 (10)
- 构建工具Maven (6)
- 持续集成 (1)
- 缓存技术 (8)
- 数据库之SequoiaDB (1)
- 数据分析 (2)
- 自然语言处理 (10)
- 数据库----MariaDB (1)
- 压缩算法 (2)
- 消息队列之LMAX Disruptor (1)
- 分布式文件系统DFS (1)
- Kubernetes (1)
- 自动化部署框架 (2)
- 分布式文件系统Tachyon (1)
- OpenCV (1)
- 数据库--db4o (1)
- 任务调度--Azkaban (1)
- 消息队列 (3)
- Apache 之 Flink (1)
- 消息队列,StormMQ (1)
- 图形数据库 (1)
- Zuul (1)
- 网站加速 (1)
- CDN (1)
- 数据库之PostgreSQL (2)
- CQRS 命令查询职责分离模式 (1)
- CoreOS--ETCD (1)
- 工作流引擎--Snaker (1)
- HPCC (1)
- 数据库之Greenplum (1)
- 监控系统 (8)
- Neo4j (1)
- Apache之Calcite (1)
- 大数据分享 (4)
- 人工智能分享 (10)
- Apache 之Camel (1)
- Apache之 Crunch (1)
- 分布式缓存 (7)
- Apache 之Etch (1)
- Apache之 Karaf (1)
- Apache 之ODE (1)
- Eclipse安装插件 (1)
- Apache之Qpid (1)
- Apache 之Ranger (1)
- Apache 之Flink (1)
- Apache 之Lens (1)
- Apache之Zeppelin (1)
- Apache 之Mahout (1)
- Apache之 Samza (1)
- Apache 之VCL (1)
- Apache 之Synapse (1)
- Apache 之ORC (1)
- apache之Tapestry (1)
- 射频识别 (2)
- JAVA框架之spark (1)
- Web服务器 Tengine (1)
- web服务器之kangle (1)
- 全文检索 (1)
- Java开发框架之Ninja (1)
- Spring-Boot (2)
- 操作系统底层 (1)
- Java之Web框架Vert.x (1)
- JAVA之NIO框架 (1)
- CORBA (2)
- 敏感词过滤 (1)
- 前端语言 (18)
- 事处理务 (2)
- 网络爬虫 (1)
- 复杂SQL案例 (3)
- 经典理论 (1)
- 容器集群管理系统 (1)
- 代理服务器 (1)
- 微服务框架 (8)
- 编程语言--JAVA之Web (4)
- 存储知识 (2)
- 报表技术 (12)
- Tomcat专题研究 (7)
- 网络知识 (2)
- Web服务器 之WebLogic (2)
- 编程语言--JAVA之Email (5)
- Apache 之Velocity (1)
- java之Javassist (1)
- JAVA之工作流 (3)
- JAVA之Undertow (1)
- JAVA之Grizzly (1)
- java之Spray (1)
- JAVA之验证码 (8)
- JAVA之序列化 (1)
- JAVA 之RESTful (1)
- XML解析 (5)
- RPC框架之Motan (1)
- 数据库之ArangoDB (1)
- 【lanproxy】 (1)
- 【RPC框架之RPCX】 (1)
- RPC框架之gRPC (1)
- JavaWeb之G4Studio (1)
- 区块链 (1)
- Sphinx (1)
- 跟踪系统 (1)
- 多租户 (1)
- 大数据之数据采集应用 (2)
- JAVA 之文件操作 (10)
- 软件测试 (1)
- Apache 之DistributedLog (1)
- Apache 之 Ignite (1)
- 分布式配置中心 (1)
- 【SaaS 介绍】 (1)
- 【数据库之ArangoDB】 (1)
- 【数据处理之ETL】 (1)
- Undertow (1)
- JAX-RS (1)
- 【百度云消息推送】 (1)
- IOS (7)
- Kannel (1)
- ServiceComb (1)
- 微信 (2)
- 规则引擎 (1)
- 短地址 (1)
- Exam (1)
- FastDFS (1)
- Arthas (0)
- 阿里之Arthas (1)
- 阿里之Seata (1)
- 微服务 (1)
- 分布式事务 (1)
- Flink (2)
- Apache-Ranger (1)
- azkaban (1)
- Intellij Idea (1)
- Apache DolphinScheduler (3)
- PMP项目管理 (1)
- sentry介绍 (1)
- 堡垒机 (1)
- 对象存储服务简介 (1)
- prometheus (1)
- Hazelcast (1)
- dolphinscheduler (1)
- PMP (1)
- 数据库之ClickHouse (2)
- Telegraf (1)
- apache之Dolphinscheduler (1)
最新评论
-
gaojingsong:
jstl1point0 写道高级版本JDK可以直接安装不用配置 ...
【win7配置jdk 环境变量】 -
jstl1point0:
高级版本JDK可以直接安装不用配置了
【win7配置jdk 环境变量】 -
hdd901002:
光说明错误在哪里有什么用,解决方法啊。。。我也碰到了,一条jo ...
Mycat源码解读--错误之【can't find table define in schema 】 -
masuweng:
【JAVA之图片水印】 -
masuweng:
【JAVA之多线程下载文件实现】
1、关闭防火墙
service iptables status
service iptables stop
chkconfig --list
chkconfig iptables off
2、SSH 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cp id_rsa.pub authorized_keys
验证:ssh localhost
3、安装JDK
配置etc/profile JDK环境变量
4、开始安装hadoop
1)解压,配置hadoop环境变量bin
HADOOP_HOME
PATH: HADOOP_HOME/bin
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000
hadoop.tmp.dir
/usr/XXX
即:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/hadoop272</value>
</property>
</configuration>
hdfs-site.xml
dfs.replication
dfs.permissions(false)
即:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
mapred.job.tracer
hadoop0:9001
即:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>
3)格式化(类似新硬盘)
执行hadoop namenode -format
启动start-all.sh
查看java进程jps
http://50070 (jetty服务器)
http://50030
service iptables status
service iptables stop
chkconfig --list
chkconfig iptables off
2、SSH 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cp id_rsa.pub authorized_keys
验证:ssh localhost
3、安装JDK
配置etc/profile JDK环境变量
4、开始安装hadoop
1)解压,配置hadoop环境变量bin
HADOOP_HOME
PATH: HADOOP_HOME/bin
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000
hadoop.tmp.dir
/usr/XXX
即:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/hadoop272</value>
</property>
</configuration>
hdfs-site.xml
dfs.replication
dfs.permissions(false)
即:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
mapred.job.tracer
hadoop0:9001
即:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>
3)格式化(类似新硬盘)
执行hadoop namenode -format
启动start-all.sh
查看java进程jps
http://50070 (jetty服务器)
http://50030
发表评论
-
【hadoop2.x HA 高可用介绍】
2017-07-23 14:07 1200Hadoop中的NameNode好比是人的心脏,非常重要,绝 ... -
【Hadoop YARN的发展史与详细解析】
2017-03-27 20:30 900原来的 map-reduce 架 ... -
【 Hadoop高可用集群介绍】
2017-03-27 20:20 690在一个典型的HA集群中,每个NameNode是一台独立的服 ... -
【Hadoop核心之MapReduce运行机制】
2016-10-10 22:01 551江湖传说永流传:谷 ... -
【Hadoop核心之MapReduce介绍】
2016-10-10 21:47 8341、MapReduce MapReduce是 ... -
java操作之HDFS-创建-删除目录-读写文件-追加写文件
2016-04-07 23:44 2868Hadoop文件操作之HDFS,创建。删除目录,读写文件, ... -
新版本Hadoop安装过程
2016-04-07 22:15 8971、进程差异 新版本HadoopSecondaryNam ... -
java操作HDFS文件
2016-04-05 22:27 990java代码操作HDFS文件 /** <d ... -
【Hadoop环境搭建之SSH免密码登录高级篇】
2016-03-11 21:45 1811想象一下这种场景:我们使用1000台廉价的PC机做Hado ... -
【八】Hadoop分布式环境搭建
2015-12-08 21:52 834概述:分布式核心思想是人多力量大,众人拾材火焰高;把众 ...
相关推荐
Hadoop 单机版搭建环境图文解析 Hadoop 是一种基于分布式计算的开源框架,由 Apache 基金会开发和维护。它主要由 HDFS(分布式文件系统)和 MapReduce(分布式计算框架)两部分组成。Hadoop 的主要特点是高可扩展性...
小白搭建hadoop完全分布式环境笔记,步骤详细,原创
本文详细介绍了如何在Linux环境下搭建Hadoop环境,包括安装JDK、SSH以及配置Hadoop的核心文件等关键步骤。此外,还提供了一个简单的WordCount示例程序的操作流程。通过这些步骤,你可以成功地在Linux上搭建起一个...
### CDH搭建Hadoop环境知识点整理 #### CDH简介 CDH(Cloudera's Distribution Including Apache Hadoop)是Cloudera公司提供的一个发行版,包含了Apache Hadoop的核心组件以及许多额外的工具和增强功能。CDH旨在...
在本实践教程中,我们将探讨如何利用云计算技术ZStack搭建Hadoop环境,这对于大数据处理和分析至关重要。Hadoop是一个开源的分布式计算框架,允许在廉价硬件上存储和处理大规模数据集。ZStack作为云计算平台,提供了...
### 在Ubuntu下搭建Hadoop环境的关键步骤 #### 1. 安装JDK 在Ubuntu系统上搭建Hadoop环境的第一步是安装Java Development Kit (JDK)。这是因为Hadoop是用Java编写的,所以需要JDK来运行Hadoop。 ##### 1.1 下载与...
在本文中,我们将详细介绍如何在 CentOS 6.4 操作系统环境下搭建 Hadoop 2.5.0 全分布式环境。这是一个逐步过程,包括设置多台虚拟机、安装 JDK、配置 Hadoop 环境以及启动集群。 首先,我们需要准备三台能够无密码...
在本教程中,我们将详细介绍如何在Windows系统下搭建Hadoop环境,内容涉及虚拟机的安装、基础环境配置以及Hadoop集群的具体搭建步骤。适合初学者跟随本教程一步步进行操作。 首先,搭建Hadoop环境需要一台高性能...
Hadoop 环境搭建 Hadoop 环境搭建是大数据处理和分析的基础,涉及到虚拟机安装、操作系统安装、JDK 安装、SSH 无密码登录、Hadoop 安装等多个方面。在本文中,我们将详细介绍 Hadoop 环境搭建的步骤和方法。 一、...
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 ...因为是Hadoop2.6环境,所以后者覆盖前者 解决:创建HADOOP_HOME环境变量,值为解压目录 将 %HADOOP_HOME%/bin添加至Path下。
hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境,包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...
本篇将详细介绍如何利用Eclipse插件来搭建Hadoop开发环境。 首先,Eclipse插件的安装是关键步骤。你需要找到适用于Eclipse的Hadoop开发插件,如"Hadoop Toolkit"或"Big Data Tools"。这些插件通常可以从Eclipse ...
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境,提供了极为详尽的操作步骤和解释,帮助初学者能够快速掌握搭建过程,并理解Hadoop的工作原理。此外,他强调了工欲善其事,必先利其器的理念,说明了在...
Hadoop 多节点环境搭建 Hadoop 是一种分布式计算技术,能够处理大量数据。搭建 Hadoop 环境是学习和使用 Hadoop 的基础。本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、...
在搭建Hadoop环境的过程中,有几个关键步骤需要详细解释。首先,我们需要配置IP地址,这是所有网络服务的基础。在CentOS7系统中,我们通常使用`ifconfig`命令查看网络接口,例如`ens33`。然后,使用`vim`编辑器打开`...