博客首页 → hdfs

最新文章列表

深入理解HDFS：Hadoop分布式文件系统

  这篇文章主要介绍了Hadoop中HDFS分布式文件存储有关知识，写的很详细，很棒。 本来想转载传上来的，奈何上传时老提示有敏感词，但又不指出敏感词的位置，字数比较多实在改不了，所以只能把地址放在这里了，大家可以跳过去看看。   原文地址：https://blog.csdn.net/bingduanlbd/article/details/51914550
hadoophdfsnamenodedatanodeblock 
langgufu 评论(0) 有376人浏览 2019-10-31 15:52

hbase-ha 安装

  hbase-ha  安装 -1.目标： 10.156.50.35 hmaster 10.156.50.36 hmaster 10.156.50.37 hregionserver   0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.5 ...
linuxhadoophbasehdfsnosql 
knight_black_bob 评论(0) 有862人浏览 2019-06-12 15:14

sqoop1 mysql to hdfs

  0.准备工作 hadoop 服务器 10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 ...
sqoop1mysqlhdfshadoop 
knight_black_bob 评论(0) 有692人浏览 2019-06-03 13:20

hive-ha 安装

hive-ha 安装     0.准备工作 hadoop 服务器   10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.ba ...
linuxhivehahadoophdfs 
knight_black_bob 评论(0) 有913人浏览 2019-05-29 10:12

hadoop UnsupportedFileSystemException 问题

使用hdfs操作文件的时候遇到以下两个异常： 1.java.io.IOException: No FileSystem for scheme: hdfs 2.org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"   类似No FileSystem for ...
hadoophdfs
278653219 评论(0) 有2672人浏览 2018-08-15 10:50

java 远程连接Pseudo-Distributed Hadoop

本文主要描述如何实现在一台Linux机器上搭建一个Pseudo-Distributed的Hadoop，在另外一台机器上通过API访问 服务器端环境搭建： 1.版本信息   java：1.8.0_172   Hadoop: 2.9.1 2.设置JAVA_HOME   在～/.bash_profile中追加如下内容     JAVA_HOME=/usr/java/jdk1.8.0_172- ...
hadoophdfs 
fengyilin 评论(0) 有792人浏览 2018-06-04 09:09

HDFS联盟

一、搭建HDFS联盟的环境 1、规划： NameNode:  bigdata12   bigdata13 DataNode:  bigdata14   bigdata15 2、准备环境： （*）清除之前的配置 （*）安装JDK、修改/etc/hosts文件、关闭防火墙、免密码登录 3、在bigdata12上安装 core-site.xml <! ...
HDFS大数据联盟 
jin8000608172 评论(0) 有365人浏览 2018-05-13 20:23

HDFS的7个设计特点

1.Block的放置：默认不配置。一个Block会有三份备份，一份放在NameNode指定的DataNode，另一份放在与指定DataNode非同一Rack上的DataNode，最后一份放在与指定Da ...
HDFS加米谷大数据 
加米谷大数据 评论(0) 有29人浏览 2018-04-04 14:34

简单概述企业级大数据云平台该如何规划

一、大数据云平台应当具备 Real time 实时 海量实时计算 数据实时录入 动态实时标签 平台实时监控 数据实时应用
大数据云计算云平台HDFSHBase 
威客方案 评论(0) 有68人浏览 2018-01-20 13:49

HDFS使用

一 HDFS命令行操作演示 [root@localhost ~]# hadoop fs -ls / Warning: $HADOOP_HOME is deprecated.   Found 1 items drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop   [root@localhost ~]# hadoop fs - ...
HDFS 
cakin24 评论(0) 有597人浏览 2017-10-18 21:32

HDFS特点

一 HDFS的特点 1、数据冗余，硬件容错 2、流式的数据访问 一次写入，多次读取 一旦写入，不会被修改 3、存储大文件   二 适用性和局限性 适合数据批量读写，吞吐量高 不适合交互式应用，低延迟很难满足 适合一次写入多次读取，顺序读写 不支持多用户并发写相同文件
HDFS 
cakin24 评论(0) 有1242人浏览 2017-10-17 21:22

HDFS中文件的读写操作

一 HDFS文件读取流程   二 HDFS文件写入流程    
HDFS文件读写操作 
cakin24 评论(0) 有1027人浏览 2017-10-17 21:21

HDFS数据管理策略

一 数据块副本     二 容错性 1、DataNode1挂了，A节点就挂了，但可以在DataNode2和DataNode4上找到对应A节点。   2、机架1挂了，A、b、c、d、e节点就挂了，但可以在机架2中可以找到这些节点。     三 心跳检测     四 二级NameNode    
HDFS数据管理策略 
cakin24 评论(0) 有737人浏览 2017-10-15 09:39

HDFS的基本概念

一 块（Block） HDFS的文件被分成块进行存储，HDFS块的默认大小64MB，块是文件存储处理的逻辑单元   二 NameNode NameNode是管理节点，存放文件元数据 文件与数据块的映射表 数据块与数据节点的映射表     三 DataNode DataNode是HDFS的工作节点，存放数据块 <!--5f39ae17-8c62-4a45-bc43-b3 ...
HDFS 
cakin24 评论(0) 有1110人浏览 2017-10-15 09:35

多语言版基础管理系统展示[es6版]-简单整合spring+tensorflow+ignite+hadoop

1.整合基于[多语言版基础管理系统展示[es6版] ] 2.整合的简单示意图如下，图2是在图1的基础上演化的结果 3.图1运行效果参考[多语言版基础管理系统展示[es6版]-简单整合tensorflow ] 4.相关知识自行补充 5.最新消息请关注[我的空间] 6.新增入门配置篇：  多语言版基础管理系统展示[es6版]-入门配置篇      2.  
igniteIGFSHDFShadoopspring 
minn84 评论(0) 有864人浏览 2017-08-05 18:14

hadoop源码解析之hdfs写数据全流程分析---创建文件

概述 DFSClient创建文件 namenode创建文件     http://zhangjun5965.iteye.com/admin/blogs/2386382 概述
hadoophdfs源码读文件 
zhangjun5965 评论(0) 有1069人浏览 2017-07-21 22:10

hadoop2.7.3源码解析之datanode注册和心跳机制

datanode注册和心跳 datanode注册 datanode心跳 namenode接收注册和心跳信息 DatanodeManager简单介绍 namednoe接收注册的信息 namenode 接收心跳信息  ht ...
hadoophdfs心跳注册源码 
zhangjun5965 评论(0) 有1392人浏览 2017-07-21 22:09

hadoop源码解析之hdfs写数据全流程分析---客户端处理

DFSOutputStream介绍 DFSOutputStream概况介绍 DFSOutputStream重要的变量 数据处理线程类DataStreamer 响应处理类ResponseProcessor 处理流程 客户端发数据到dataQueue DataStreamer处理dataQueue中的数据 处理错误 创建输出数据流，发送数据 向namenod ...
hadoophdfs源码读数据 
zhangjun5965 评论(0) 有1128人浏览 2017-07-21 22:08

Hadoop与Hive日志

1、包准备 http://archive.cloudera.com/cdh5/cdh/5/ hadoop-2.5.0-cdh5.3.0.tar.gz zookeeper-3.4.5-cdh5.3.0.tar.gz hive-0.13.1-cdh5.3.0.tar.gz https://repo1.maven.org/maven2/org/apache/hive/hive- ...
hadoophdfshive 
yangyangmyself 评论(0) 有3491人浏览 2017-07-08 11:33

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics