xinghaifeng2006
- 浏览: 178404 次
- 性别:
- 来自: 北京
-
最新评论
-
buildhappy：
知道如何解决了吗？
Hbase异常 正在找解决办法 ~~ -
xs.cctv：
相当不错的资料
MyEclipse设置注释格式(转载) -
di1984HIT：
写的很好啊。
HBase行健设计策略（三）（未完成） -
zhaoshijie：
jar 包呢
Storm 本地运行 统计字母出现次数 -
bgkpbgkp：
感谢分享
hibernate.current_session_context_class属性配置(转载)
文章列表
linux环境安装python
- 博客分类：
- python
默认情况下 Linux环境自带python环境 可能是2.4版本 ，如果想安装新版本 可以用如下方法
1、 mkdir python #创建一个文件夹 2、 wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz #下载源代码包3、tar -zxvf Python-2.7.6.tgz #进行解压 ，如果解压失败 查看echo $LANG 查看编码 export LANG=zh_CN.UTF-84、./configure --prefix=/usr/local/pythonnew 5、 make ins ...
windows环境安装Python
- 博客分类：
- python
1、python下载地址http://www.python.org/ 下载2.7版本python
2、配置环境变量 path=C:\Python27\Scripts;C:\Python27
3、下载setuptools 0.6c11 地址 https://pypi.python.org /pypi/setuptools/0.6c11#downloads
4、用easy_install安装django : easy_install django
...
Hive数据仓库准备地震局测试数据
- 博客分类：
- hive
安装部署可以参考：http://blog.fens.me/hadoop-hive-intro/ 非常详细
下面介绍如何准备测试数据 ：
到hive>环境 输入命令：
1、创建表
create table if not exists dzj(riqi string,shijian string ,jingdu string,weidu string ,zjlx string,sjlx string ,ckdm string) row format delimited fields terminated by ',' stored as textfile;
2、 ...
mysql启动异常mysql.sock
- 博客分类：
- 数据库
启动mysql错误解决方案，学会查看错误日志：mysql.sock丢失，mysqld_safe启动报错
转载自：http://www.cnblogs.com/super-lucky/p/superlucky.html
本人还是个菜鸟，下面是我的经验之谈，能解决一些问题，有不对的地方，敬请斧正。
我的是CentOS6.3+MySQL5.1.57。
重启了一次服务器后，使用> mysql -u root -p登陆是出现下面的错误：
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/t ...
从mysql导入数据到hdfs
- 博客分类：
- sqoop
测试sqoop能否成功连接宿主机器上的mysql：
sqoop list-tables --connect jdbc:mysql://机器名或IP:3306/sqoop --username sqoop --password sqoop
从mysql导入数据到Hdfs命令 ：
sqoop import --connect jdbc:mysql://机器名或IP/wuliu --table 表名 --username 用户名 --password 密码
agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure source1agent1.sources.source1.type = avroagent1.sources.source1.bind = AY1307200004001547efZagent1.sources.source1.port = 44444# Describe sink1agent1.sinks.sink1.type = hdfs# Use a channel which buffers events ...
Flume接收Log4j日志 发送到控制台
- 博客分类：
- Flume
第一步：新建flume.conf配置文件内容如下：
agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure source1agent1.sources.source1.type = avroagent1.sources.source1.bind = AY1307200004001547efZagent1.sources.source1.port = 44446# Describe sink1agent1.sinks.sink1.type = logger ...
转载自：http://blog.csdn.net/xiaochawan/article/details/8986489
好文章，留下备忘。
Flume是什么
收集、聚合事件流数据的分布式框架
通常用于log数据
采用ad-hoc方案，明显优点如下：
可靠的、可伸缩、可管理、可定制、高性能
声明式配置，可以动态更新配置
提供上下文路由功能
支持负载均衡和故障转移
功能丰富
完全的可扩展
核心概念
Event
Client
Agent
Sources、Channels、Sinks
其他组件：Interceptors、Chan ...
Hadoop v2 时代正式到来（）
- 博客分类：
- hadoop实践
转载自：http://www.iteye.com/news/28387
Apache基金会近日正式发布了Hadoop 2.2版本，该版本是Hadoop 2.x分支中的首个稳定版本（2.0.x为alpha版本，2.1.x为beta版本），标志着Hadoop 2时代的正式到来。
Apache建议用户升级至最新版本，因为这个版本更加稳定，并保持与之前版本API和相关协议条款的兼容。与Hadoop 1.x相比，Hadoop 2的主要亮点如下：
新的Hadoop MapReduce框架YARN
HDFS高可用性
HDFS Federation（HDFS联盟）：使得HDFS支持多个命名 ...
Hadoop工具生态系统指南
- 博客分类：
- hadoop实践
Hadoop工具生态系统指南
Hadoop工具生态系统生长迅速，以下是IT经理网整理的最新Hadoop工具资源，供IT经理日常参考，欢迎读者来信或留言补充。
Hadoop
Apache hadoop项目负责开发可靠的、可扩展的分布式计算开源软件。
网址：hadoop.apache.org
HDFS
分布式文件系统提供高速的应用数据访问。
网址：hadoop.apache.org/hdfs/
MapReduce
在计算机集群上进行大数据分布式处理的软件框架。
亚马逊Elastic MapReduce
亚马逊Elastic MapRedu ...
HBase性能调优（转载）
- 博客分类：
- hadoop实践
原文链接：http://kenwublog.com/hbase-performance-tuning
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
配置 ...
Protocol Buffer的安装与使用
转载请注明作者与出处：franciscolv. http://www.cnblogs.com/franciscolv/archive/2012/05/05/2485348.html 。
最近要在产品中改进对象的序列化了。以前用的是java默认序列化实现功能，在产品上线之前 ...
无法启动Hbase
错误如下
Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.92.1 at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfigurati ...
两分钟学会在GitHub托管代码 (转载)
- 博客分类：
- 版本控制工具
本篇博客针对不会Git的小童鞋，大神们可以绕过，错误之处谢谢指正；
关于GitHub的强大此处不在说明，知道GitHub也有一段时间了,但是一直苦于不会使用。
本篇文章介绍的是如何将工程代码托管到上面；如果你还没注册GitHub账号请到https://github.com/上注册
如果你已经注册GitHub账号，在你的电脑上安装了GitHub,而一直还没上传过代码
1.打开浏览器登陆你的GitHub账号，Creat a new repo 如图：
maven环境配置（转载）
- 博客分类：
- 版本控制工具
----------------准备工作-------------
Jdk 1.5以上java开发环境。
Eclipse IDE 一个。
Maven 3.0.3下载地址： http://maven.apache.org/docs/3.0.3/release-notes.html
----//快速搭建步骤
第一步：配置maven环境
将下载文件解压，然后设置maven环境
如果你配置过jdk的话，这里对你应该不难。如我的maven环境为：F:\maven\apache-maven-3.0.3
我的电脑-----属性----高级-----环境变量-----环境 ...