xinghaifeng2006
- 浏览: 176314 次
- 性别:
- 来自: 北京
-
最新评论
-
buildhappy：
知道如何解决了吗？
Hbase异常 正在找解决办法 ~~ -
xs.cctv：
相当不错的资料
MyEclipse设置注释格式(转载) -
di1984HIT：
写的很好啊。
HBase行健设计策略（三）（未完成） -
zhaoshijie：
jar 包呢
Storm 本地运行 统计字母出现次数 -
bgkpbgkp：
感谢分享
hibernate.current_session_context_class属性配置(转载)
文章列表
Hbase 基础知识整理
- 博客分类：
- hadoop实践
1、扫描操作scan 可以输入startRow和stopRow参数，其中 起始行包括在内，而终止行是不包括在内的，用区间表示就是【startRow,stopRow).
2、Region的rowKey也是 前开后闭模式【startRow,stopRow).
Hbase异常 正在找解决办法 ~~
- 博客分类：
- hadoop实践
14/01/06 21:31:31 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for table: edit_user, row=edit_user,,99999999999999 at org.apache.hadoop.hbase.client.MetaScanner.met ...
hadoop无法停止
- 博客分类：
- hadoop实践
hadoop无法停止
hadoop运行一段时间后，无法正常停止。
解决方法：
1.jps查询所有的相关进程，如namenode，然后kill -9 进程号
2.修改etc/hadoop/hadoop-env.sh 中的 hadoop-pid-dir 指定到一个有效的目录、
如：export hadoop-pid-dir=/data/hadoop/pids
产生的原因是 hadoop-pid-dir 这个环境变量默认是 /tmp，而/tmp中的所有的内容是要被操作系统定期清除的，清除后，hadoop-daemon.sh stop xxx 无法找到相应的进程 ...
hbase 启动报错解决
- 博客分类：
- hadoop实践
转载自：http://hi.baidu.com/coconutnut/item/97ba15ca5da3820fac092f6c
hbase 启动解决
今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。
--------
NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安-全模式状态即只读状态。dfs.safemode.threshold.pct（缺 省值0.999f）表示HD ...
运行命令 启动hive hive --service metastore
命令运行后 ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resource ...
用这个http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 解决的问题 。备忘~~
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.
解决方法：
NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct） ...
hive 集成hbase 笔记
- 博客分类：
- hadoop实践
转载地址：http://blog.csdn.net/daniel_ustc/article/details/12795627 按这个博文安装成功，留个参考。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为
MapReduce任务进行运行。其优点学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，
十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hba ...
OOZIE上传mapReduce任务
- 博客分类：
- hadoop实践
例子路径：下载oozie-2.3.2-cdh3u6包 例子在oozie-2.3.2-cdh3u6/oozie-2.3.2-cdh3u6/docs/DG_Examples.html 文档中 ，可以用
Command方式
oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run
还有使用cron定时功能 在cron包中，按例子执行一遍就大概明白流程 ，暂时写到这 详细后续跟上~
Storm 本地运行 统计字母出现次数
- 博客分类：
- hadoop实践
说明：这个例子是在网上下载的，我将storm0.7.1的jar包引入 ，
在windows环境eclipse下可以跑通 。
可以有助于理解storm处理流程，不用安装storm环境 , 将工程引入到项目 执行TopologyMain.java 传参words.txt路径 即可。
出处：http://www.vpser.net/manage/scp.html
相信各位VPSer在使用VPS时会 经常在不同VPS间互相备份数据或者转移数据，大部分情况下VPS上都已经安装了Nginx或者类似的web server，直接将要传输的文件放到web server的目录，然后在目标机器上执行：wget http://www.vpser.net/testfile.zip 就行了。当VPS上没有安装web server和ftp server的时候或感觉上面的方法比较麻烦，那么用scp命令就会排上用场。
一、scp是什么？
scp是secure copy的简写，用于在Linu ...
原文出处：http://www.cnblogs.com/royenhome
Google Protocol Buffers浅析（一）
本文主要偏向于介绍怎么使用Google的Protocol Buffer技术来压缩与解析你的数据文件，更加详细的信息请参阅Google开放的开发者网页文档，地址为：http://code.google.com/apis/protocolbuffers/docs/overview.html 。
一、简单的介绍
当然，在继续本文之前，读者还是需要对Google Protocol Buffers有一些基本的认识。Protoco ...
转载自：http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/
简介： Apache Thrift 是 Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。本文将从 Java 开发人员角度详细介绍 Apache Thrift 的架构、开发和部署，并且针对不同的传输协议和服务类型给出相应的 Java 实例，同时详细介绍 Thrift 异步客户端的实现，最后提出使用 Thrift 需要注意的事项。
前言：
目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Serv ...
Linux下高并发socket最大连接数所受的各种限制
12/06. 2013
1、修改用户进程可打开文件数限制在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当前用户进程打开的文件数限制：
[speng@as4 ~]$ ulimit -n
1024
1
2
[speng@as4~]$
服务端：
from twisted.internet import reactor
from twisted.internet.protocol import Factory,Protocol
class Echo(Protocol):
def connectionMade(self):
self.transport.write('hello yy:')
# self.transport.loseConnection()
def dataReceived(self ...
常用Python第三方库 简介
- 博客分类：
- python
如果说强大的标准库奠定了python发展的基石，丰富的第三方库则是python不断发展的保证，随着python的发展一些稳定的第三库被加入到了标准库里面，这里有6000多个第三方库的介绍：点这里或者访问：http://pypi.python.org/pypi?%3Aaction=index。下表中加粗并且标红的都是我平时使用较多的一些第三方库。（P.S.CSDN的这个表格功能太难用了，改HTML代码调整了好半天啊，才见得人！）
转载：http://blog.csdn.net/magictong/article/details/6788208