- 浏览: 1095285 次
- 性别:
- 来自: 北京
最新评论
-
kafodaote:
Kafka分布式消息系统实战(与JavaScalaHadoop ...
分布式消息系统Kafka初步 -
小灯笼:
LoadRunner性能测试实战课程网盘地址:http://p ...
LoadRunner性能测试应用(八) -
成大大的:
Kafka分布式消息系统实 ...
分布式消息系统Kafka初步 -
hulalayaha2:
Loadrunner性能测试视频教程下载学习:http://p ...
LoadRunner性能测试应用(八) -
993042835:
搞好 谢谢
org.hibernate.exception.ConstraintViolationException: could not delete:
文章列表
转自http://brandnewuser.iteye.com/blog/2208709
Java程序中不通过hadoop jar的方式访问hdfs
博客分类:
系统使用
hadoop&&storm
开源分析
hadoophdfshadoop jar
一般情况下,我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api,添加以下的pom.xml依赖(这里以hadoop2.2.0版本为例):
Xml代码
转自:http://blog.csdn.net/trigl/article/details/55101826
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。
Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。
配置Hadoop文件
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容 ...
dfdf
用安装python模块出现error: command 'gcc' failed with exit status 1 ,明明装了gcc的,怎么会不行呢,然后发觉是failed不是not found,这说明这个错误个gcc没多大关系,应该是缺少某些功能模块,然后谷歌了一下,先后安装了python-devel,libffi-devel后还是不行,最后发觉要安装openssl-devel才行
可如下命令行安装:
yum install gcc libffi-devel python-devel openssl-devel
若服务器无法访问外网,可参考以下的安装步骤。否则跳转到《elasticsearch以及其常用插件安装》。
1. 安装elasticsearch
下载elasticsearch2.3.3安装包。下载地址:elasticsearch-2.3.3.tar.gz
在安装目录解压即可。
2. 安装kibana插件
下载kibana4.5.1安装包(有linux和windows版本之分)。下载地址:kibana-4.5.1-linux-x64.tar.gz
在安装目录解压即可。
3. 安装elasticsearch-head插件
下载elasti ...
Error message looks like this:Couldnot load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhistActually, I know the answer to the problem. The defaul settings of /mr-history files is:hadoop fs -chown - ...
ES 空间占用
- 博客分类:
- Elasticsearch
http://blog.csdn.net/yangwenbo214/article/details/54376885
http://kfcman.iteye.com/blog/2258653
https://segmentfault.com/a/1190000002690548
package cn.com.admaster.migsender.utils;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import javax.net.ssl.HostnameVerifier;
import javax.net.ssl.HttpsURLConnection;
import javax.net.ssl.SSLSession;
/**
* Created by qeekey on 17/7/3.
*/
public c ...
Spark开发环境搭建
- 博客分类:
- Hadoop
http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=8&fps=1
es一致性问题
- 博客分类:
- Elasticsearch
https://segmentfault.com/a/1190000005844120
概述
内部因素
es的一致性主要有两个方面:
使用lucene索引机制带来的refresh问题
使用分片和复制带来的副本一致性问题(consistency:one、all、quorum)
如何防止ElasticSearch集群出现脑裂现象
什么是“脑裂”现象?
由于某些节点的失效,部分节点的网络连接会断开,并形成一个与原集群一样名字的集群,这种情况称为集群脑裂(split-brain)现象。这个问题非常危险,因为两个新形成的集群会同时索引和修改集群的数据。
linux vim 替换指定字符为回车
- 博客分类:
- Linux
linux vim 替换指定字符为回车
1 将 aaa,bbb,ccc 替换成
elasticsearch如何安全重启节点
大岩不灿 发表于 2014年10月14日 浏览 6,568 次
elasticsearch集群,
https://github.com/NLPchina/elasticsearch-sql/blob/elastic2.3.2/README.md
elasticsearch如何安全重启节点(续)
大岩不灿 发表于 2015年9月21日 浏览 1,086 次
之前分享的一篇文
MySQL主从复制延迟的监测及缓解
- 博客分类:
- 数据库
MySQL的主从复制有多种原因可以导致延迟,这个是公认的了,下面我们谈谈怎样监测复制的延迟,以及怎样尽量的解决延迟的问题。
延迟的监测
Seconds_behind_master
在SLAVE上执行SHOW SLAVE STATUS,监控Seconds_behind_master列值 ...