kevin_xu
- 浏览: 36386 次
- 性别:
- 来自: 北京
-
文章列表
<destinationPolicy>
<policyMap>
<policyEntries>
<policyEntry topic=">" producerFlowControl="true" memoryLimit="1mb">
<pendingSubscriberPolicy>
...
nutch项目2006年之前集成分布式文件系统 称为NDFS，之后独立出Hadoop子项目更名为HDFS
由于自己的系统基于早期nutch版本开发，发现NDFS心跳检测在window平台异常：
Cannot run program "df": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
想必是windows平台无此df命令造成，更正DF的构造
public DF(String path) throws IOException {
//Process process = Runtime.getRuntime().exec(new String[] ...
消息游标
在 ActiveMQ 的之前版本中，broker 会把正在传输的消息保存在内存中。使用这种内存模型，当一个消费者消费消息的速度跟不上生产者生产消息的速度的时候，会是 broker 内存中维护的正在传输的消息数量迅速增长，最终到达最大限额。当到达此最大限额后，broker 就不能接受来自客户端的消息，这样生产者就会被阻塞直到 broker 的内存中有保存消息的空间为止。
从 5.0 版本开始，ActiveMQ 实现了一种新的内存模型以防止慢速的消费者阻塞运行速度更快的生产者。这种内存模型使用了消息游标，详情请查看 http://activemq.apache.org/message ...
192.168.0.170
==============================================================================================================
Red Hat Enterprise Linux Server release 5 (Tikanga)
CPU：(Intel(R) Xeon(R) CPU E5405 @ 2.00GHz)*4 内存：3.0G
total used free shared buffers cac ...
- 2009-10-15 15:12
- 浏览 1770
- 评论(0)
Hi,everone!
I use JE DPL API to insert(put) my entity named AuthService with 5 SecondaryKey,40 fields.
Excute Insert 100000 Records， total times 40172ms, 2456 Records/sec ,quite slow!!!,why??? can i tune it up?
tx commit execute step is 1000 Records。
My OS is:
======================================= ...
- 2009-10-14 19:45
- 浏览 904
- 评论(0)
<%@ taglib uri="emed-html" prefix="html"%>
<%@ taglib uri="emed-logic" prefix="emed" %>
<%@ page contentType="text/html;charset=utf-8"%>
<html>
<head>
</head>
<body>
<script language="JavaScri ...
- 2009-10-12 19:26
- 浏览 1119
- 评论(0)
最近在研究一个机票数据网站，用httpwatch分析得知，数据来源于一个webservice接口，用.net编写的。
在网上找了不少关于如何调用的文章 总是返回500错误。无奈之下自己编写一个webservice接口，用例程调用顺利通过返回200，经过一番对比之后发现时没有注意到webservice得命名空间！
<html><head><meta http-equiv="content-type" content="text/html; charset=gbk"><title>webserv ...
- 2009-08-16 10:54
- 浏览 7870
- 评论(0)
今天Clone了一套centOS系统，启动的时候发现提示配置网络连接，误操作删除了网络配置。
首先通过 #ifconfig获取网卡Mac地址。然后按照步骤操作重新配置连接
linux的网卡IP地址是存放在文件中的，这个配置文件在/etc/sysconfig/network-scripts下，名称分别为ifcfg-eth0,ifcfg-eth1....如果你有一块网卡，就只有ifcfg-eth0一个文件，如果你有两块或者两块以上的网卡，就会有ifcfg-eth1、ifcfg-eth2等文件的出现。 文件结构：
DEVICE=eth0 ...
- 2009-08-01 00:12
- 浏览 6132
- 评论(0)
$grep -c 'I am tom' a.txt
参考资料：
grep、fgrep和egrep命令
这组命令以指定模式搜索文件，并通知用户在什么文件中搜索到与指定的模式匹配的字符串，并打印出所有包含该字符串的文本行，在该文本行的最前面是该行 ...
- 2009-07-29 16:46
- 浏览 5142
- 评论(0)
这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档，里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的，同时又参考了网上的很多文 ...
- 2009-07-28 21:45
- 浏览 1076
- 评论(0)
10.2 Heritrix的架构
在上一节中，详细介绍了Heritrix的使用入门。读者通过上一节的介绍，应该已经能够使用Heritrix来进行简单的网页抓取了。那么，Heritrix的内容究竟是如何工作的呢？它的设计方面有什么突出之处？
本节就将介绍Heritrix的几个主要组件，以此让读者了解其主要架构和工作方式。为后续的扩展Heritrix做一些铺垫。
10.2.1 抓取任务CrawlOrder
之所以选择从CrawlOrder这个类说起，是因为它是整个抓取工作的起点。在上一节中已经说过，一次抓取任务包括许多的属性，建立一个任务的方式有很多种，最简单的一种就是根据默认的orde ...
- 2009-07-25 10:42
- 浏览 1314
- 评论(0)
10.3 扩展和定制Heritrix
在前面两节中，向读者介绍了Heritrix的启动、创建任务、抓取网页、组件结构。但是，读者应该也可以明显的看出，如果不用Heritrix抓取和分析网页的行为进行一定的控制，它是无法达到要求的。
对Heritrix ...
- 2009-07-25 10:38
- 浏览 2466
- 评论(0)
前段时间给轩辕互动投了一份简历，很快就收到面试通知。去之前再网上打听了一番。
居然有19分的好评。终究去一看究竟。几番周折，终于找到传说中的黄色房子。
进入公司，等待面试，海面啊。办公环境与想象的有些差距哦。
马上要求上机做题先给3道题，要求1小时做完。比较基础的算法题。3道题验证通过
很快就做完了，耗时30分钟。HR说稍等，片刻HR说再补做一套题。最后一道题涉及到动态规划的应用，很顺利做完，用是10分钟。这些题应该对算法比较考究。实现的方法很多。
然后填了一份调查表，关键点应该在薪资上。
然后一个看似技术的MM过来，带着绕了一圈，上了一个Loft小洽谈室（在上面有种一览众山小的感觉），聊了一 ...
- 2009-07-24 21:48
- 浏览 1525
- 评论(1)