博客首页 → Hadoop

最新文章列表

hive-ha 安装

hive-ha 安装     0.准备工作 hadoop 服务器   10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 10.156.50.37 yanfabu2-37.ba ...
linuxhivehahadoophdfs 
knight_black_bob 评论(0) 有905人浏览 2019-05-29 10:12

Linux下Hadoop集群搭建

1、IP分配     先分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。      IP                              主机名     192.168.189.129       master     192.168.189.130       slave1     192.168.189.131       slave2 2、关闭和禁用防火墙（root ...
linuxhadoop 
肖福燕 评论(0) 有350人浏览 2019-05-01 20:48

Java开发简单Hadoop程序

pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ...
hadoopjava大数据 
zhoupinheng 评论(0) 有696人浏览 2019-04-25 20:12

Centos7上安装hadoop伪集群

一、环境： jdk home:        /opt/jdk1.8 user:                devops hadoop home: /opt/hadoop-3.2.0   hadoop version： 3.2.0    二、安装配置：   $cd /opt $wget http://mirror.bit.edu.cn/apache/hadoop/commo ...
hadoop
zhoupinheng 评论(0) 有422人浏览 2019-04-25 15:10

hadoop之hive部署

1、解压 tar -zxvf Downloads/apache-hive-3.1.1-bin.tar.gz -C applications/ 2、建软连接 ln -s apache-hive-3.1.1-bin hive 3、驱动包mysql-connector-java-5.1.27.jar放在/lib cp ~/Downloads/mysql-connector-java-5.1.4 ...
Hadoophive部署 
flylynne 评论(0) 有739人浏览 2019-04-06 11:10

异常-hsql 小文件过多

1.背景：    hive  做 insert overwrite select * from table 操作    出现异常：    [Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.   2.实际默认限制：    hive> set ...
hadoophive小文件过多 
greemranqq 评论(0) 有815人浏览 2019-04-02 15:05

Android环境下hanlp汉字转拼音功能的使用介绍

   由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j+多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案，在github上找到了HanLP开源库，其多音字转换速度非常快，但是没有针对Android平台进行适配，于是对代码进行了一些修改，终于可以在Android手机上运行。修改后的工程已上传 ...
自然语言Hadoop安卓平台 
adnb34g 评论(0) 有488人浏览 2019-04-01 15:24

获取hadoop-yarn 的列表信息

一.背景      一般hadoop集群的东西，需要去监控，或者杀东西之类的，所以需要调用下他们的API，下面是基本操作，获取正在跑的flink 程序，当然，也能获取CPU 内存等信息：     二.代码 public static void main(String[] args) throws IOException, YarnException { Ya ...
flinkhadoopyarn 
greemranqq 评论(0) 有835人浏览 2019-03-15 17:09

向hbase导入数据

1.环境信息 大数据集群利用CHD5.7.0搭建，包括master节点、worker节点、name节点、secondary name节点等总共10个节点，集群通过Kerberos进行认证权限管理。 2.导入步骤 2.1 认证,执行如下命令进行kerberos认证，如果还没有kerberos用户，则需要利用kerberos 管理员创建用户 kinit -kt /keytab/testuser.ke ...
Hadoophbase 
fengyilin 评论(0) 有1136人浏览 2019-03-04 14:50

hadoop项目开发案例举例

  大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。 Hadoop应用开发太过偏底层，难度之大真不是我们一般人所能够理解的。有的人会说，不都是倒腾代码吗？有什么难的！如果真是这样想，那就真的完蛋了。做hadoop底层的开发，真不是一般人和一般的企业就能够去做的。问 ...
hadoop 
adnb34g 评论(0) 有488人浏览 2019-01-27 13:36

DKHadoop开发环境安装常见问题及解决方案汇总

  Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理，希望对一些朋友有帮助吧！   DKHadoop安装问题整理 1、系统安装 如果没有联网，请手动同步时间 如果联网请同步为中国时区 2、集群免密登录问题
hadoop 
adnb34g 评论(0) 有369人浏览 2019-01-25 16:01

超详细hadoop集群服务器安装配置教程

  虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hadoop安装会在下一篇文章中详细的介绍。 hadoop安装包用的是大快DKHadoop发行版，个人觉得DKHadoop的安装过程是比较简单，关于dkhadoop的安装在下一次的分享中再详细介绍吧。下面进入 ...
hadoop 
adnb34g 评论(0) 有387人浏览 2019-01-23 15:31

DKHhadoop集群添加节点管理功能的操作步骤

    Hadoop作为搭建大数据处理平台的重要“基石”，关于它的分析和讲解的文章已经有很多了。Hadoop本身是一分布式的系统，因此在安装的时候，需要多每一个节点进行组建的安装。并且由于是开源软件，其安装过程相对比较复杂。这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因。   hadoop每个组建都要做很多的配置工作，如果手动去完成这个工作，工作量其实还是非常庞大。正 ...
hadoop 
adnb34g 评论(0) 有1001人浏览 2019-01-16 15:57

DKHadoop大数据可视化平台监控功能深度解析

    在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功 ...
hadoop 
adnb34g 评论(0) 有681人浏览 2019-01-14 16:00

深度解析大快DKadoop大数据运维管理平台功能

  之前几周的时间一直是在围绕DKhadoop的运行环境搭建写分享，有一些朋友留言索要了dkhadoop安装包，不知道有没有去下载安装一探究竟。关于DKHadoop下载安装基本已经讲清楚了，这几天有点空闲把大快DKM大数据运维管理平台的内容整理了一些，作为DKHadoop相配套的管理平台，是有必要对DKM有所了解的。 DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Had ...
hadoop 
adnb34g 评论(0) 有528人浏览 2019-01-11 15:30

Hadoop新手篇：hadoop入门基础教程

  关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难，最烦的可能还是要给每一步配图，工程量确实比较大。 原计划准备接上一篇内容写dkhadoop的监控页面的参数，突然觉得还是有必要把上两周写的内容做一个汇总，这样方便需要的朋友浏览。上两周写的五篇内容，汇 ...
hadoop 
adnb34g 评论(0) 有697人浏览 2019-01-09 15:20

hadoop集群管理系统搭建规划说明

  Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。 在之前的分享文章中给hadoop新手入门推荐的大快搜索DKHadoop发行版，在运行环境安装方面的确要比其他的发行版hadoop要简单的多，毕竟DKHadoop是对底层重新集成封装的，对与研究hadoo ...
hadoop 
adnb34g 评论(0) 有575人浏览 2019-01-04 14:05

最近博客热门TAG

Apache(33931) Lucene(5053) Hadoop(5049) nginx(3449) vim(3262) GCC(2954) memcached(2625) jfreechart(1688) Django(1602) Zend(1413) ActiveMQ(1398) Grails(1374) ActiveRecord(1349) OpenSource(1236) Emacs(870) Glassfish(858) lighttpd(810) rubygems(716) GAE(631) Blend(516)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics