博客首页 → Hadoop

最新文章列表

Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）

一、准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码，之后需要连续输入两次密码 $ sudo adduser hadoop sudo ...
hadoop 
fooler5 评论(0) 有420人浏览 2018-08-28 17:48

自定义DBInputFormat,抽取mysql表存储在分库中

    前言： mysql a表是按照分库存储的，现在需要抽取到hdfs中   实现点： 1 自定义DBInputFormat，将表对应的分库重新创建conn连接，然后切片 2 在mapper类中自定义切片后的接收数据的接收类 3 在mapper中得到数据写出去   sqoop.properties文件如下：   driverName=com.mysql.jdbc.Dri ...
hadoop 
chengjianxiaoxue 评论(0) 有1125人浏览 2018-08-27 18:07

279.11G 大数据学习资料分享

上篇文章分享的是 Hadoop 学习资料，还没看见的同学，点击这里查看->大数据之 Hadoop 学习教程分享     为什么是 279.11G ？   小编本来打算分开分享的，想了下太麻烦了，还是一次性分享的比较好，所以看了下整理的大数据资料，除了电子版外，总共 279.11G，所以后面很长一段时间会不考虑分享大数据资料，需要的同学抓紧了。     总共是几份教程呢？ ...
大数据hadoop 
code小生 评论(0) 有1017人浏览 2018-08-20 22:11

spark 集群环境搭建

需要的环境： 1.java1.8 2.hadoop-3.1.1（spark用到他的hdfs） 3.zookeeper-3.4.11（spark自动转移master用） 4.spark-2.3.1-bin-without-hadoop   三台服务器主机分别是 host-01 host-02 host-03   关键配置： hadoop hadoop/hadoop-3.1 ...
hadoopspark 
278653219 评论(0) 有568人浏览 2018-08-15 17:33

hadoop UnsupportedFileSystemException 问题

使用hdfs操作文件的时候遇到以下两个异常： 1.java.io.IOException: No FileSystem for scheme: hdfs 2.org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"   类似No FileSystem for ...
hadoophdfs 
278653219 评论(0) 有2669人浏览 2018-08-15 10:50

大数据之 Hadoop 学习教程分享

接下来分享大数据学习资料，今天的主题是 Hadoop，分为 3 份教程，各不相关联，读者请自己选择来学习。   贴图   总图     第一份（100天时 ...
大数据Hadoopjava 
code小生 评论(0) 有1418人浏览 2018-08-13 20:56

MapReduce输入输出格式

常用输入格式 输入格式 特点 使用的RecordReader 是否使用FileInputFormat的getSplits TextInputFormat 以行偏移量为key，以换行符前的字符为Value LineRecordReader 是
HadoopMapReduce大数据 
cboss8 评论(0) 有1568人浏览 2018-08-10 16:15

学习Hadoop权威指南之Hadoop运行MapReduce日志查看

  修改map配置文件 mapred-site.xml   [root@bigdata yar]# vim /opt/hadoop-2.8.3/etc/hadoop/mapred-site.xml   <property> <name>mapreduce.jobhistory.address </name> <value>bigdat ...
hadoop大数据 
cboss8 评论(0) 有1321人浏览 2018-08-09 14:18

学习Hadoop权威指南之MapReducer气象数据分析

气象数据集 关于MapReduce MapReduce是一种可用于数据处理的编程模型，它本质上是并行运行的，因此可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。MapReduce的优势在于处理大规模数据集，这里我们先看一个数据集。我们今天的目的是：在大批量的气象数据中，获取每年每月的最高气温。 数据格式 我们使用的数据来自于权威指南提供的美国国家气候数据中心，该 ...
hadoopMapReduce 
cboss8 评论(0) 有2159人浏览 2018-08-09 14:05

大数据开发技术：Hadoop Yarn的三种资源调度器详解

在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调 ...
大数据开发大数据技术学习hadoop 
加米谷大数据 评论(0) 有16人浏览 2018-08-08 14:48

hadoop2.8.3 + hive2.3.3 + hbase0.98.24 + spark2.1.3安装

安装虚拟机 安装文件：CentOS-6.6-x86_64-bin-DVD1.iso                       自定义硬件 内存增加到8G，处理器修改为4核   自动安装 永久修改hostname
大数据hadoophivehbasespark 
cboss8 评论(0) 有778人浏览 2018-08-08 10:17

大数据视频教程|零基础大数据就业课程（零到大神一“部”之遥）

零基础大数据就业课程（零到大神一“部”之遥） 网盘地址：https://pan.baidu.com/s/1kFzS3h0GxN1mwwI6dAhgGw 密码: g2vd 备用地址（腾讯微云）：https://share.weiyun.com/52QfmKi 密码：njwgdd 课程分2大模块，14个课程，65章，共计856课时！ 一、Java模块课程 课程一、【大数据必知必会】- Java负基础 ...
hbasehadoop 
hiopamd 评论(0) 有617人浏览 2018-08-06 10:45

Hadoop2.7.3单机伪分布

1. 官网：http://hadoop.apache.org/ 2. 下载版本hadoop 2.7.3(http://hadoop.apache.org/releases.html) 3. 预准备环境： a. Centos7 b. Java8 4. 创建目录 software ：mkdir /software 5. 上传hadoop到software 6. tar -xvf had ...
hadoop 
叶子_it 评论(0) 有722人浏览 2018-07-22 17:54

基于Hadoop离线大数据分析平台项目实战

基于Hadoop离线大数据分析平台项目实战 网盘地址：https://pan.baidu.com/s/13vOi8WphetCiRtHhOCUdGg 密码: kt99 备用地址（腾讯微云）：https://share.weiyun.com/5wdYJSk 密码：jjmx9p 课程简介: 某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。其中数据分析主要依据大数据Hadoop生态 ...
hadoop 
小灯笼 评论(0) 有605人浏览 2018-07-03 12:05

Hadoop几个常见类的作用

1、自定义bean中的CopmareTo() public class KeyPair implements WritableComparable<KeyPair> { private int year; private int hot; @Override /** * 定义CopmareTo()是在溢出和merge时用来来排序的 */ public int compa ...
hadoop大数据分析 
加米谷大数据 评论(0) 有39人浏览 2018-06-11 14:52

大数据分析与挖掘：hadoop的13个开源工具

hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。 用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapRed ...
大数据分析hadoop开源工具 
加米谷大数据 评论(0) 有31人浏览 2018-06-07 10:47

深度:Hadoop对Spark五大维度正面比拼！

每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你? 如果想批处理流量数据，并将其导入HDFS或使用Spark Streaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗?   为了增加混淆，Spark和Hadoop经常与位于HDF ...
Hadoopspark对比大数据框架 
飞鱼德蒙 评论(0) 有619人浏览 2018-06-05 19:23

最近博客热门TAG

Apache(33931) Lucene(5053) Hadoop(5049) nginx(3449) vim(3262) GCC(2954) memcached(2625) jfreechart(1688) Django(1602) Zend(1413) ActiveMQ(1398) Grails(1374) ActiveRecord(1349) OpenSource(1236) Emacs(870) Glassfish(858) lighttpd(810) rubygems(716) GAE(631) Blend(516)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics