wangzjie
- 浏览: 75005 次
- 性别:
- 来自: 北京
-
最新评论
-
zhangquan1228：
楼主能给一份吗!非常感谢，邮箱：zhangquan1228@1 ...
gwt+spring+hibernate的整合 -
xuhuajian885：
楼主能给一份吗！不胜感激，邮箱：xuhuajian885@16 ...
gwt+spring+hibernate的整合 -
s416500624：
您好！楼主，我刚开始学习GWT，希望楼主能给点GWT与其他框架 ...
gwt+spring+hibernate的整合 -
liyuanchao2004：
楼主，发份，谢谢，liyuanchao2004@126.com ...
gwt+spring+hibernate的整合 -
g_man1990：
试试看行不行
smartupload支持中文编码版
文章列表
scheduleAtFixedRate与schedule的区别主要是基准时间点以及第一次执行时执行的次数
timer.scheduleAtFixedRate(TimerTask, startTime, period): 如果执行时间executeTime>startTime，则一执行就会从startTime开始(startTime时就会跑一次)，每隔peroid跑TimerTask。以startTime为起点。
public class TimerTest {
public static void main(String args[]) throws Par ...
public class SystemInitListener implements ServletContextListener {
private Logger logger = LoggerFactory.getLogger(getClass());
private CityService cityService;
private WebApplicationContext webApplicationContext;
public void setCityService(CityService cityService) {
...
需求：计算用户的相似度，有用户列表U和特征列表F以及用户和特征的关系<U,F>。 根据<U1,Fn> ∩ <U2, Fm>的交集数来判断U1和U2的相似度。
解决方法：
一、用户维度的Join
最暴力低效的方法，因为用户量一般很大，所以join效率极低。一般不考虑。
二、特征维度
将用户对特征的矩阵转成特征对用户的矩阵。
1、转成特征对用户的矩阵：F1->U1...Un
map: context.write(F, U)
reduce: context.write(F,List<U>)
依赖关系组合式MapReduce
答案是采取JobControl，直接上代码。
JobControl依赖关系组合式MpaReduce。
旧版实现：org.apache.hadoop.mapred包下
Configuration job1conf = new Configuration();
Job job1 = new Job(job1conf,"Job1");
.........//job1 其他设置
Configuration job2conf = new Configuration();
Job job2 = new Job(job2conf, ...
由于mapreduce为child进程，所以不能直接通过bin/hadoop文件中开启远程调试端口，具体操作如下：
1、 选定一台调试机器，修改mapred-site.xml文件，添加如下配置：
<property>
<name>mapred.child.java.opts</name>
<value>-agentlib:jdwp=transport=dt_socket,address=8883,server=y,suspend=y</value>
</property>
2、关闭 ...
一、调用RPC框架：Caller和Callable
主要对象用途
caller主要是进行rpc的重复尝试调用;
callable由caller来调用，负责寻找目标regionserver以及进行rpc调用。
流程图
说明
1、hbase客户端的rpc调用框架主要通过RpcRetryingCaller来调用，它的核心方法callwithRetires()会尝试一定次数直到成功或超时。
看不到图片的可到我的github博客上看。
solr的4.0-4.1版本使用GeohashField.createSpatialQuery(), 未使用IntersectsPrefixTreeFilter(继承于AbstractVisitingPrefixTreeFilter)。4.2版本开始使用IntersectsPrefixTreeFilter。4.2和4.3及以后的区别好像只是小改了一些，比如把Node对象换成Cell对象。
solr空间索引主要有两类GeohashPrefixTree(Geohash)与QuadPrefixTree(四叉树，对应笛卡尔分层策略)。分层其实取的 ...
<servlet>
<servlet-name>spring3mvc</servlet-name>
<servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
<init-param>
<param-name>contextConfigLocation</param-name>
<param-value>/WEB-INF/conf/spring3 ...
solr请求回来的数据为字节流，solrj通过JavaBinCodec对其进行解析。
一、JavaBinCodec的主要标识tag
各tag的定义：
public static final byte
NULL = 0,
BOOL_TRUE = 1,
BOOL_FALSE = 2,
BYTE = 3,
SHORT = 4,
DOUBLE = 5,
INT = 6,
LONG = 7,
FL ...
有时候要使用Java调用linux脚本，且需要设置超时时间，以下是我封装的简单的类：
超时使用Thread.join(time)来实现。
public class ProcessUtils {
/**
* @parma taskName 任务名
* @param processName 进程名
* @param cmd
* @param timeout
* 超时时间，如果为0则表示永远不超时
* @return
*/
public static boolean execute(String taskName, St ...
遇到的问题
1、java调用hbase时(hbase0.96)报以下错误：
Exception in thread "main" java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:383)
at org.apache.hadoop.hbase.client.HConnectionManager.c ...
hadoop 2.2.0相比于hadoop 0.20.X的安装很不一样。
1、准备三台机器 test01(master)，test02(slaves), test03(slaves)，并把test01的公钥放到test02/test03的~/.ssh/authorized_keys以打通master和集群的通信。
2、下载hadoop-2.2.0.tar.gz
3、在hadoop 2.2.0进行配置，配置完成后再拷贝到其他slaves上
4、配置文件都在$HADOOP_HOME/etc/hadoop下
a、hadoop-env.sh:
替换exportJAVA_HOME=${ ...
一、写流程add
1、SolrServer的add方法：创建UpdateRequest对象，UpdateRequest.add(docList)。然后调用UpdateRequest.process(SolrServer)方法。
2、UpdateRequest.process()：调用SolrServer(一般是HttpSolrServer)的request方法 (这里设置了ElaspedTime的开始时间)。
3 ...
eclipse调试solr
- 博客分类：
- solr
1、下载solr源码，src包或svn(我这里的版本的是4.4)
2、使用ant编译，ant需要将ivy-xxxx.jar 复制到 %ANT_HOME%\lib。然后ant eclipse。
3、这时就可以将solr源码导到eclipse中。
4、找到StartSolrJetty类，该类可以在本机以Main的方式启动一个Solr服务。
5、修改StartSolrJetty,结果像下面这样：
Server server = new Server();
SocketConnector connector = new SocketConnector();
...
下载hbase-0.94.12.tar.gz并解压
一、本地模式
编辑conf/hbase-site.xml，添加hbase.rootdir, 不是hbase.root.dir
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir& ...