博客首页 → Hadoop

最新文章列表

【赵强老师】搭建Hadoop环境

说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式。需要使用的安装介质： hadoop-2.7.3.tar.gz jdk-8u181-linux-x64.tar.gz rhel-server-7.4-x86_64-dvd.iso 一、安装前的准备工作 安装好Redhat Linux 7.4（安装 ...
大数据HadoopJavaSparkFlink 
collen7788 评论(0) 有506人浏览 2020-04-08 13:40

Hadoop及Yarn的HA集群安装

Hadoop及Yarn的HA集群安装 1、环境及选用的版本说明： 本教程需要3台Linu机器，主机也好，虚机也好。本例中每台内存不少于2G。系统使用CentOS7。 本教程并未采用CDH这样的成型产品，原因有二，一是CDH占用内存较多，少于16G内存的电脑，无法用虚机完成所有教程中的内容；二是学习大数据的时候还是应该尽量从基本的操作开始，这样在遇到问题时更容易定位错误。 如果是生产环境， ...
大数据hadoop 
toplchx 评论(0) 有303人浏览 2020-02-11 22:45

搭建Hadoop遇到的问题

<div class="iteye-blog-content-contain" style="font-size: 14px;"> <p>1、磁盘划分空间太少，造成复制文件复制不到虚拟机，解压文件不完整。< ...
hadoop虚拟机大数据Java 编程异常信息 
ssssd1000 评论(0) 有505人浏览 2019-12-03 21:48

一文看懂 K8s 日志系统设计和实践

需求驱动架构设计 ======== 技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要 ...
工作互联网hadoop框架 
大涛学长 评论(0) 有323人浏览 2019-11-27 16:03

数据一致性检测的应用场景与最佳实践

随着业务规模的扩张，企业系统变得越来越复杂，在这种复杂的分布式系统架构下，难免会出现远程调用失败，消息发送失败，并发 bug 等等问题，这些问题最终会导致系统间的数据不一致，导致用户体验受损，用户利益受损，对平台来说就是产生资损。因此如何持续保障系统的业务稳定性对于企业来说是一个很重要的课题，本文旨在介绍一些常见业务应用场景下的业务数据一致性保障最佳实践。 离线or在线,事前or事后 ------ ...
mapreduce领域模型hadoop 
大涛学长 评论(0) 有382人浏览 2019-11-19 15:32

趣头条基于 Flink 的实时平台建设实践

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。 一．平台架构 ------ ### 1.Flink 应用时间线 ![1](https://yqfile.alicdn.com/a8f5abf2ed981e744554d6759e2eff4abb904541.jpeg) 首先是平台的架构，20 ...
hadoopsqlpythoncassandra 
大涛学长 评论(0) 有359人浏览 2019-11-15 15:15

JindoFS解析 - 云上大数据高性能数据湖存储方案

**作者**：殳鑫鑫，花名辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。   JindoFS背景 --------- 计算存储分离是云计算的一种发展趋势，传统的计算存储相互融合的的架构存在一定的问题， 比如在集群扩容的时候存在计算能力和存储能力相互不匹配的问题，用户在某些情况下只需要扩容计算能力或者存储能力，传统的融合架构不能单独的扩充计算或 ...
cache阿里巴巴hadoop云计算 
大涛学长 评论(0) 有340人浏览 2019-11-04 16:05

数据中台的存储系统和计算平台枚举

作者：向师富 转自：阿里巴巴数据中台官网 [https://dp.alibaba.com](https://dp.alibaba.com/)  **采集&传输层** *   Sqoop      Hadoop、关系型数据库之间传输 ...
阿里巴巴apachemapreducehadoop 
大涛学长 评论(0) 有414人浏览 2019-11-04 15:33

深入理解HDFS：Hadoop分布式文件系统

  这篇文章主要介绍了Hadoop中HDFS分布式文件存储有关知识，写的很详细，很棒。 本来想转载传上来的，奈何上传时老提示有敏感词，但又不指出敏感词的位置，字数比较多实在改不了，所以只能把地址放在这里了，大家可以跳过去看看。   原文地址：https://blog.csdn.net/bingduanlbd/article/details/51914550
hadoophdfsnamenodedatanodeblock 
langgufu 评论(0) 有372人浏览 2019-10-31 15:52

Hadoop分布式集群的搭建

https://www.cnblogs.com/ityouknow/p/7343995.html Hadoop分布式集群的搭建
Hadoop分布式集群的搭建hadoop 
maxer025 评论(0) 有391人浏览 2019-10-25 20:50

Hadoop2-8-0的环境搭建

此文为在centos7下安装Hadoop集群 前期准备 Hadoop下载 Hadoop的下载 本文下载的是2.8.0版本的Hadoop 安装3个虚拟机并实现ssh免密码的登录 安装3个centos7虚拟机 安装方法： 安装3个机器，机器分别叫master slave1 slave2 如图： ps：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作 ...
Hadoop 
wx1567764797 评论(0) 有362人浏览 2019-09-06 18:13

hadoop版本变更记录

Apache Hadoop 2.0.3 发布 Apache Hadoop 2.0.3发布了，在这次版本更新中，主要增加了以下几个特性： 1.  引入一种新的HDFS HA解决方案QJM 之前NameNode HA已经有两 ...
hadoop 
XMaster 评论(0) 有479人浏览 2019-08-09 15:10

hadoop：/bin/bash: /bin/java: No such file or directory

Stack trace: ExitCodeException exitCode=127 In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the export ...
hadoop 
XMaster 评论(0) 有1117人浏览 2019-08-05 16:04

案例精选 | 面对千亿级的数据难题，优酷工程师怎么解决？

  导读：优酷一天的日志量会达到千亿级别，面对如此大的数据样本，2017年5月，优酷完成了从Hadoop迁移到阿里云MaxCompute，实现计算消耗和储存的消耗呈下降趋势，得到了非常大的收益。今天，阿里数据技术专家门德亮给大家做个分享，从为什么要用MaxCompute，到优酷的业务场景下典型的方案及应用分析，聊聊迁移后对业务及平台的具体价值。本文内容根据演讲视频以及PPT整理而成，希望对 ...
MaxComputehadoop大数据 
壹佰案例 评论(0) 有507人浏览 2019-07-14 11:28

linux pig 安裝使用

  0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 ...
linuxhivehadooppig 
knight_black_bob 评论(0) 有1681人浏览 2019-06-14 09:52

深入浅出、点金赋能！Hadoop体系大数据开发案例实战

深入浅出、点金赋能！Hadoop体系大数据开发案例实战 网盘地址：https://pan.baidu.com/s/1PA7MCdmO1et6cHb6sAJsKA 提取码：04cf 备用地址（腾讯微云）：https://share.weiyun.com/5EpBkX2 密码：hzs7fb 课程目标： 概览大数据技术生态圈与技术趋势动态； 由浅入深，通过理论及案例学习，掌握大数据基础知识技能、数据库 ...
hadoop 
明兜3号 评论(0) 有498人浏览 2019-06-13 14:03

hbase-ha 安装

  hbase-ha  安装 -1.目标： 10.156.50.35 hmaster 10.156.50.36 hmaster 10.156.50.37 hregionserver   0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.5 ...
linuxhadoophbasehdfsnosql 
knight_black_bob 评论(0) 有840人浏览 2019-06-12 15:14

sqoop2 安装 与使用

  0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 ...
linuxmysqlhivehadoopsqoop 
knight_black_bob 评论(0) 有930人浏览 2019-06-05 13:55

[sqoop1 error] java.lang.ClassNotFoundException org.apache.hadoop.hive.conf.Hiv

    问题： [zkkafka@yanfabu2-37 ~]$ sqoop import \ > --connect jdbc:mysql://10.156.50.36:3306/mqh \ > --username root \ > --password root \ > --table device \ > --fields-terminated ...
linuxmysqlhadoophivesqoop 
knight_black_bob 评论(0) 有885人浏览 2019-06-03 13:28

sqoop1 mysql to hdfs

  0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 ...
sqoop1mysqlhdfshadoop 
knight_black_bob 评论(0) 有683人浏览 2019-06-03 13:20

最近博客热门TAG

Apache(33931) Lucene(5053) Hadoop(5049) nginx(3449) vim(3262) GCC(2954) memcached(2625) jfreechart(1688) Django(1602) Zend(1413) ActiveMQ(1398) Grails(1374) ActiveRecord(1349) OpenSource(1236) Emacs(870) Glassfish(858) lighttpd(810) rubygems(716) GAE(631) Blend(516)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics