gaojingsong
- 浏览: 1181953 次
- 性别:
- 来自: 深圳
-
文章分类
- 全部博客 (1027)
- 拼接字符串小技巧 (1)
- JAVA 模块知识小结 (23)
- Tools (14)
- Android (20)
- ExtJS必学必会 (1)
- Nginx (4)
- 中间件 (9)
- java中间件 (6)
- linux (47)
- 23种设计模式 (15)
- 数据库知识 (15)
- Mycat中间件 (80)
- 华为框架--jalor5 (2)
- 数据库-----DB2 (24)
- 数据库-----ORACLE (47)
- 数据库-----MYSQL (82)
- 大数据 (16)
- 大数据--HBASE (4)
- 大数据--Storm (9)
- 大数据--Hive (5)
- 大数据--Hadoop (11)
- 大数据--ElasticSearch (16)
- 大数据--ZooKeeper (13)
- 大数据--redis (17)
- 大数据--Kafka (26)
- 大数据--MongoDB (9)
- 大数据之Flume (4)
- 大数据--sqoop (3)
- 大数据--SPARK (7)
- 大数据--memcached (1)
- 大数据------Impala (1)
- 大数据--Avro (1)
- 大数据--Apache Pig (1)
- 大数据--Logstash (1)
- 大数据--Kibana 简介 (1)
- 大数据之Impala (1)
- 大数据之Druid-IO介绍 (1)
- 大数据之HUE (1)
- 大数据之Ambari (1)
- 大数据之Presto (1)
- 大数据之Oozie (1)
- 编程语言之Python (4)
- 编程语言--PHP (5)
- 编程语言--Scala (2)
- 编程语言--JAVA之Mybatis (26)
- 编程语言之Ruby (2)
- 编程语言之C (2)
- 编程语言--JAVA之Spring (7)
- 编程语言--JAVA之Struts (1)
- 编程语言JAVA Hibernate (6)
- 编程语言之Kotlin (1)
- 编程语言--JAVA之网络编程 (3)
- 编程语言之Go (3)
- 编程语言之Erlang (1)
- erlang语言 (1)
- 算法研究--查找 (8)
- 算法研究--排序 (10)
- 网络协议 (47)
- 版本控制工具 (6)
- JAVA基础知识 (20)
- 负载均衡 (14)
- Hessian (1)
- 阿里之RocketMQ (5)
- 阿里之Canal (2)
- 阿里之TDDL (1)
- 阿里之DRDS (1)
- 阿里Dubbo框架 (2)
- 阿里JStorm框架 (3)
- 阿里之yugong (2)
- 阿里之Druid框架 (3)
- 阿里之cobar (1)
- Docker (17)
- VPN虚拟专网 (1)
- JFinal (1)
- JAVA语言基础 (23)
- HAProxy简介 (5)
- Netty介绍 (1)
- Squid介绍 (1)
- ZeroMQ (1)
- JVM深入研究 (4)
- Kerberos (1)
- Shiro (1)
- R语言 (2)
- CAS (2)
- Spring Security (1)
- 虚拟化技术 (10)
- python (2)
- Wireshark (1)
- JAVA_WEB 开发 (6)
- I/O模型 (1)
- Apache Mina (1)
- Apache Solr (2)
- Apache Nutch (1)
- Apache nifi (1)
- Apache Phoenix (1)
- Apache Thrift (1)
- Apache --Groovy (2)
- Apache Tika (1)
- Apache JMeter (1)
- Apache 之CouchDB (1)
- Apache之XML-RPC (1)
- 读书笔记 (4)
- 统计分析系统--SAS (1)
- Java Applet (1)
- JAVA之XStream (1)
- java之FreeMarker (1)
- JAVA 之WebWork (1)
- JAVA之velocity 介绍 (1)
- JAVA之Excel的导入(出) (4)
- Node.js (1)
- 信息安全 (2)
- Flex 编程 (1)
- 大数据--Alluxio (1)
- Jenkins (1)
- XDoclet (1)
- Play 框架 (1)
- ESB (2)
- JAVA之SiteMesh (1)
- JAVA 之Tiles (1)
- JAVA之工作流系统 (5)
- Apache之Tajo (1)
- 搜索引擎知识 (1)
- Apache 之Chukwa (1)
- Apache 之 ActiveMQ (2)
- Apache 之Accumulo (1)
- Apache之Lucene (2)
- Apache S4 (2)
- Apache之Tez (1)
- Apache之TOMCAT (3)
- Apache Kylin (1)
- Apache 之Ivy (1)
- Apache之Mesos (1)
- Zenoss (1)
- 阿里妈妈-adhoc之mdrill (1)
- 分布式调用 (5)
- RPC之Zeroc ICE (3)
- Java之RMI (1)
- RPC框架之Apache-XML (1)
- 人工智能系统 (10)
- 构建工具Maven (6)
- 持续集成 (1)
- 缓存技术 (8)
- 数据库之SequoiaDB (1)
- 数据分析 (2)
- 自然语言处理 (10)
- 数据库----MariaDB (1)
- 压缩算法 (2)
- 消息队列之LMAX Disruptor (1)
- 分布式文件系统DFS (1)
- Kubernetes (1)
- 自动化部署框架 (2)
- 分布式文件系统Tachyon (1)
- OpenCV (1)
- 数据库--db4o (1)
- 任务调度--Azkaban (1)
- 消息队列 (3)
- Apache 之 Flink (1)
- 消息队列，StormMQ (1)
- 图形数据库 (1)
- Zuul (1)
- 网站加速 (1)
- CDN (1)
- 数据库之PostgreSQL (2)
- CQRS 命令查询职责分离模式 (1)
- CoreOS--ETCD (1)
- 工作流引擎--Snaker (1)
- HPCC (1)
- 数据库之Greenplum (1)
- 监控系统 (8)
- Neo4j (1)
- Apache之Calcite (1)
- 大数据分享 (4)
- 人工智能分享 (10)
- Apache 之Camel (1)
- Apache之 Crunch (1)
- 分布式缓存 (7)
- Apache 之Etch (1)
- Apache之 Karaf (1)
- Apache 之ODE (1)
- Eclipse安装插件 (1)
- Apache之Qpid (1)
- Apache 之Ranger (1)
- Apache 之Flink (1)
- Apache 之Lens (1)
- Apache之Zeppelin (1)
- Apache 之Mahout (1)
- Apache之 Samza (1)
- Apache 之VCL (1)
- Apache 之Synapse (1)
- Apache 之ORC (1)
- apache之Tapestry (1)
- 射频识别 (2)
- JAVA框架之spark (1)
- Web服务器 Tengine (1)
- web服务器之kangle (1)
- 全文检索 (1)
- Java开发框架之Ninja (1)
- Spring-Boot (2)
- 操作系统底层 (1)
- Java之Web框架Vert.x (1)
- JAVA之NIO框架 (1)
- CORBA (2)
- 敏感词过滤 (1)
- 前端语言 (18)
- 事处理务 (2)
- 网络爬虫 (1)
- 复杂SQL案例 (3)
- 经典理论 (1)
- 容器集群管理系统 (1)
- 代理服务器 (1)
- 微服务框架 (8)
- 编程语言--JAVA之Web (4)
- 存储知识 (2)
- 报表技术 (12)
- Tomcat专题研究 (7)
- 网络知识 (2)
- Web服务器 之WebLogic (2)
- 编程语言--JAVA之Email (5)
- Apache 之Velocity (1)
- java之Javassist (1)
- JAVA之工作流 (3)
- JAVA之Undertow (1)
- JAVA之Grizzly (1)
- java之Spray (1)
- JAVA之验证码 (8)
- JAVA之序列化 (1)
- JAVA 之RESTful (1)
- XML解析 (5)
- RPC框架之Motan (1)
- 数据库之ArangoDB (1)
- 【lanproxy】 (1)
- 【RPC框架之RPCX】 (1)
- RPC框架之gRPC (1)
- JavaWeb之G4Studio (1)
- 区块链 (1)
- Sphinx (1)
- 跟踪系统 (1)
- 多租户 (1)
- 大数据之数据采集应用 (2)
- JAVA 之文件操作 (10)
- 软件测试 (1)
- Apache 之DistributedLog (1)
- Apache 之 Ignite (1)
- 分布式配置中心 (1)
- 【SaaS 介绍】 (1)
- 【数据库之ArangoDB】 (1)
- 【数据处理之ETL】 (1)
- Undertow (1)
- JAX-RS (1)
- 【百度云消息推送】 (1)
- IOS (7)
- Kannel (1)
- ServiceComb (1)
- 微信 (2)
- 规则引擎 (1)
- 短地址 (1)
- Exam (1)
- FastDFS (1)
- Arthas (0)
- 阿里之Arthas (1)
- 阿里之Seata (1)
- 微服务 (1)
- 分布式事务 (1)
- Flink (2)
- Apache-Ranger (1)
- azkaban (1)
- Intellij Idea (1)
- Apache DolphinScheduler (3)
- PMP项目管理 (1)
- sentry介绍 (1)
- 堡垒机 (1)
- 对象存储服务简介 (1)
- prometheus (1)
- Hazelcast (1)
- dolphinscheduler (1)
- PMP (1)
- 数据库之ClickHouse (2)
- Telegraf (1)
- apache之Dolphinscheduler (1)
最新评论
-
gaojingsong：
jstl1point0 写道高级版本JDK可以直接安装不用配置 ...
【win7配置jdk 环境变量】 -
jstl1point0：
高级版本JDK可以直接安装不用配置了
【win7配置jdk 环境变量】 -
hdd901002：
光说明错误在哪里有什么用，解决方法啊。。。我也碰到了，一条jo ...
Mycat源码解读--错误之【can't find table define in schema 】 -
masuweng：
【JAVA之图片水印】 -
masuweng：
【JAVA之多线程下载文件实现】
(一)大数据环境准备：Hadoop安装步骤
1、设置静态IP ifconfig eth0 192.168.0.1或者修改/etc/sysconfig/network-scripts/下的ifcfg-eth0
2、修改主机名字
vi /etc/sysconfig/network
3、绑定主机名字和IP地址
vi /etc/hosts
ip 主机名字
4、关闭防火墙
service iptables status
service iptables stop
chkconfig --list
chkconfig iptables off
5、SSH 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cd .ssh/
cp id_rsa.pub authorized_keys
验证：ssh localhost
6、安装JDK
配置etc/profile JDK环境变量
验证：java -version
7、开始安装hadoop
1)解压，配置hadoop环境变量etc/profile
HADOOP_HOME
PATH: HADOOP_HOME/bin
export JAVA_HOME
验证：echo $HADOOP_HOME
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000
hadoop.tmp.dir
/usr/XXX
hdfs-site.xml
dfs.replication
dfs.permissions(false)
mapred-site.xml
mapred.job.tracer
hadoop0:9001
属性文件模板
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.70.130:9000/hbase</value> >
</property>
3)格式化
执行hadoop namenode -format
启动start-all.sh
查看java进程jps
4)Web方式查看
http://IP:50070
http://IP:50030 ;
2、修改主机名字
vi /etc/sysconfig/network
3、绑定主机名字和IP地址
vi /etc/hosts
ip 主机名字
4、关闭防火墙
service iptables status
service iptables stop
chkconfig --list
chkconfig iptables off
5、SSH 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cd .ssh/
cp id_rsa.pub authorized_keys
验证：ssh localhost
6、安装JDK
配置etc/profile JDK环境变量
验证：java -version
7、开始安装hadoop
1)解压，配置hadoop环境变量etc/profile
HADOOP_HOME
PATH: HADOOP_HOME/bin
export JAVA_HOME
验证：echo $HADOOP_HOME
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000
hadoop.tmp.dir
/usr/XXX
hdfs-site.xml
dfs.replication
dfs.permissions(false)
mapred-site.xml
mapred.job.tracer
hadoop0:9001
属性文件模板
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.70.130:9000/hbase</value> >
</property>
3)格式化
执行hadoop namenode -format
启动start-all.sh
查看java进程jps
4)Web方式查看
http://IP:50070
http://IP:50030 ;
分享到：
发表评论
相关推荐
在大数据领域，Hadoop是一个关键的开源框架，用于大规模数据处理和存储。本文将深入探讨在面试中可能会遇到的Hadoop相关知识点。 首先，我们来看看HDFS（Hadoop Distributed File System）的操作流程。HDFS输入文件...
总结来说，这本书为读者提供了一个关于Hadoop的全面视角，从其诞生的历史背景到核心组件的使用，再到与其他系统的比较，以及MapReduce编程模型的详细介绍，为大数据和云计算领域提供了不可多得的学习资源。...
标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目，主要用于处理和存储海量数据，其分布式...
根据提供的文件信息，本文档是一份关于如何在VirtualBox5虚拟环境中使用CentOS6.8操作系统安装Hadoop2.5.2完全分布式集群的傻瓜教程。这份教程不是独立的完全分布式安装教程，而是在先前已经安装了VirtualBox5和...
1. **熟悉Hadoop安装流程**：从环境准备、软件安装到配置调试，全面了解Hadoop部署的全过程。 2. **掌握基本操作**：学会如何通过Web界面等工具进行集群状态监控和管理。 #### 三、实验过程知识点详解 1. **SSH无...
将R与Hadoop集成，可以在大数据环境下执行复杂的统计分析任务。 ##### 集成方案实施步骤： 1. **数据准备**：将需要处理的数据导入HDFS中。 2. **使用RHadoop工具包**：RHadoop是一套工具包，提供了R与Hadoop之间的...
ZooKeeper 是一个分布式协调服务，用于解决分布式环境中的命名服务、配置管理、集群同步等问题。它维护了分布式的共享状态，并提供原子的读写操作。 3. **HBase**： 基于 Hadoop 的 HBase 是一个非关系型数据库...
### 大数据的炼金术：Hadoop 数据分析全攻略 #### 一、引言 在信息化时代，数据已经成为企业的重要资产。对于企业而言，如何有效地利用这些数据以获得竞争优势至关重要。数据分析作为处理数据的核心手段，在众多...
2. 阿里巴巴大数据架构：书中可能会详细解析阿里巴巴的大数据处理平台，如Hadoop、Spark等分布式计算框架，以及自研的大数据处理系统，如MaxCompute（原名ODPS）和Lindorm等。 3. 数据存储与管理：阿里巴巴如何利用...
【大数据技术基础实验报告-Linux环境下hadoop...完成上述步骤后，一个基本的Hadoop集群就在Linux环境中搭建起来了，能够进行大数据的存储和处理。在实际应用中，还需考虑高可用性、性能优化以及安全策略等方面的配置。
安装和配置Hadoop涉及多个步骤： 1. 将Hadoop安装包复制到`bgsvr0`，这是集群中的活跃节点。这将作为Hadoop服务的主节点。 2. 解压缩Hadoop安装包，为Hadoop文件系统和执行环境做准备。 3. 编辑`workers`文件，列出...
集群配置是Hadoop部署的关键步骤之一，下面详细介绍Hadoop集群的配置过程： 1. **环境准备**：选择合适的操作系统（如Linux），并确保所有节点的时间同步（通常使用NTP服务）。 2. **安装Java环境**：Hadoop依赖于...
大数据架构指的是支撑大数据处理的系统结构，而算法则是处理大数据时使用的一系列计算步骤和方法。《大数据日知录：架构与算法》这本书籍很可能围绕这些主题进行讲解。 首先，从架构的角度来看，大数据架构主要包含...
安装步骤包括下载Hadoop安装程序，安装Hadoop，配置Hadoop环境变量等。 HBase安装 HBase安装是指安装和配置列族数据库HBase。安装步骤包括下载HBase安装程序，安装HBase，配置HBase环境变量等。 Hive安装 Hive安装...
【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop，这是一个开源的分布式计算框架，主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者提供高容错...
HDFS（Hadoop Distributed File System）是 Hadoop 生态系统中的一个分布式文件系统，负责存储和管理大规模数据。HDFS 的主要特点是可扩展性、可靠性和高性能，它能够支持大规模数据存储和快速数据处理。 使用 HDFS...
在大数据领域，Hadoop是一个至关重要的工具，它为海量数据的存储和处理提供了高效、可靠的解决方案。本主题将深入解析Hadoop的源代码，帮助理解其内部工作机制，从而更好地运用和优化这个分布式计算框架。 Hadoop的...
搭建Hadoop集群涉及以下步骤： - **环境准备**：选择合适的操作系统，通常使用Linux发行版如CentOS。确保系统满足Hadoop的硬件和软件要求，包括内存、磁盘空间和网络连接。 - **安装Java Development Kit (JDK)**...