秦时明月黑
- 浏览: 99845 次
- 性别:
- 来自: 北京
-
最新评论
-
cywhfe：
受教了，多谢lz分享
StringUtils字符串操作处理 -
carlosfu：
这么牛啊，昨天发的 800多点击啊。
牛
多线程异步事件、任务自动调度 -
liuInsect：
没看出个什么问题啊、
多线程异步事件、任务自动调度 -
Coolala_cs：
nice!
多线程异步事件、任务自动调度 -
luxing44530：
akka actor?
多线程异步事件、任务自动调度
文章列表
使用hive发现一个，只好翻源码解决，记下读源码心得
该软件标志性历史，特性，最好能把svn提交记录翻一遍
该软件核心步骤
带着思考，反问，如何自己写这个源码，如何写
画流程图，debug
说明
hive三个主要组件
Serialzers/Deserialzers(trunk/serde) 此组件允许用户自己开发自定义序列化、反序列化文件解析器，hive自身也内置了一些序列化解析类。MetaStore(trunk/metastore) 此组件是hive的元数据服务器，用来存放数据仓库中所有表和分区的信息,hive元数据建表sql、升级sql脚本都存放在此目录下。Query Processor(trunk/ql) 此组件用于解析sql生成map/reduce作业，并按照先后顺序执行他们（hive核心包，熟读此包，可了解hive执行流程核 ...
hive基本wiki
FaceBook 镜像（被墙）：http://mirror.facebook.com/facebook/hive
Wiki 页面：http://wiki.apache.org/hadoop/Hive
入门指南：http://wiki.apache.org/hadoop/Hive/GettingStarted
查询语言指南：http://wiki.apache.org/hadoop/Hive/HiveQL
演示文稿：http://wiki.apache.org/hadoop/Hive/Presentations
蓝图：http://wiki.apache.or ...
hive0.11测试过程中，发现如下bug
select count(distinct t2.user_id),t1.app_id,t2.from_id
from t1
join t2 on t1.app_id=t2.app_id
join t3 on t2.from_id=t3.flag
group by t1.app_id,t2.from_id
查询过程报如下错误：FAILED: NullPointerException null
2013-09-16 20:20:59,611 ERROR ql.Driver (SessionState.java ...
shell编程快速入门
- 博客分类：
- 编程语言
准备工作
一颗希望通过工具快速解放自己的心，一台装有linux操作系统的电脑。
基础知识
例子，欢迎来到shell的世界
#!/bin/sh
echo "hello girl,welcom to the world of shell!"
保存为hello.sh,执行
StringUtils字符串操作处理
- 博客分类：
- 编程语言
org.apache.commons.lang.StringUtils字符串切割注意事项
String str="a|b|c|||"
StringUtils.split(str, separatorChar)
String[] arr = StringUtils.split(str, "\\|");
print arr length(arr) 3
0:a
1:b
2:c
StringUtils.splitByWholeSeparatorPreserveAllTokens(str, sepa ...
日常用到hive sql做个总结
hive创建表
create table if not exists register
(
user_id bigint,
type string,
s1 string,
s2 string,
s3 string,
s4 string,
stage int,
from_id bigint
)partitioned by(dt string)
row format delimited fields terminated by '\t' lines terminated ...
文章来自：http://www.qqread.com/java/w872354600.html
Java技术与Java虚拟机 说起Java，人们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示：
图1 Java四个方面的关系
运行期环境代表着Java平台，开发人员编写Java代码(.java文件)，然后将之编译成字节码(.class文件)。最后字节码被装入内存，一旦字节码进入虚拟机，它就会被解释器解释执行，或者是被即时代码 ...
一、相关概念
基本回收算法
引用计数（ Reference Counting ） 比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃 圾回收时，只用收集计数为 0 的对象。 此算法最致命的是无法处理循环引用的问题。
标记 - 清除（ Mark-Sweep ） 此算法执行分两阶段。第一阶段从引用根节点开始标记所有被引用的对象，第二阶段遍历整 个堆，把未标记的对象清除。此算法需要暂停整个应用，同时，会产生内存碎片。
复制（ Copying
一，什么负载均衡一个新网站是不要做负载均衡的，因为访问量不大，流量也不大，所以没有必要搞这些东西。但是随着网站访问量和流量的快速增长，单台服务器受自身硬件条件的限制，很难承受这么大的访问量。在这种情况 ...
一步步构建大型网站架构
- 博客分类：
- 软件工程
一步步构建大型网站架构
之前我简单向大家介绍了各个知名大型网站的架构，MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型，我们可以从中获取很多有关网站架构方面的知识，看了之后你会发现你原来的想法很可能是狭隘的。
今天我们来谈谈一个网站一般是如何一步步来构建起系统架构的，虽然我们希望网站一开始就能有一个很好的架构，但马克si告诉我们事物是在发展中不断前进的，网站架构也是随着业务的扩大、用户的需求不断完善的，下面是一个网站架构逐步发展的基本过程，读完后，请思考，你现在在哪个阶段。
ZooKeeper典型应用场景一览
- 博客分类：
- 软件工程
值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利用其提供的一系列API接口（或者称为原语集），摸索出来的典型使用方法。因此，也非常欢迎读者分享你在ZK使用上的奇技淫巧 ...
系统参数 cat /proc/cpuinfo cpu相关参数cat /proc/loadavg 负载情况 性能参数 1）topP：按CPU占用排序k：kill进程回车：刷新数据2）ulimitulimit -a：显示本用户的系统限制参数ulimit -Sn ：更改最大Soft open file数3）vmstatvmstat 5 -S m：以5秒的数据刷新vmstat数据（单位为m）进程 1）ps ps aux：显示所有用户进程详情如果显示不全可以通过-w加宽，如ps aux -www网络 1）netstat netstat -na：显示所有网络连接netstat -nat：显示所有t ...
苹果官方网站消息推送：http://developer.apple.com/library/mac/#documentation/NetworkingInternet/Conceptual/RemoteNotificationsPG/ApplePushService/ApplePushService.html
苹果推送服务指南教程：http://www.cnblogs.com/gpwzw/archive/2012/03/31/Apple_Push_Notification_Services_Tutorial_Part_1-2.html