`
waldenlake
  • 浏览: 17168 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类
最新评论
文章列表
晕 我搜索文章连续敲了好几个关键字都没结果 像“测试”什么的 ,但是搜会员是好的。
大家好^^ 我现在正在作毕业设计 题目是构建一个搜索引擎 现在已经实现了crawler,代码全是自己写的,没有参开其他的open source,所以完全没有学习人家的开源的思想,比如nutch,然后再所以没有用文件作url的库,用的是mysql 5.0的innodb表,数据库中一共有12张表,分别是vUrls(以访问的url),urls_0到urls_10(这11张表代表了11中不同权重的未访问的url)。(还是自己懒,写文件还要多代码,现在已经代码比较乱了)。 表结构: 1. 未访问表中有MD5和url字段,其中MD5字段是char(32)类型、主键,url是TEXT类型。 2. 已访问 ...
手头正在写的程序中有多线程(线程数<10)对数据库(用的jdbc但没用连接池)同时插入记录(每次<2000条),同时隔一段时间还会提取一些记录。 我们用的是固定大小的线程池(newFixedThreadPool),一个任务执行完了就复用一个线程执行另一个任务 因此 代码写成了这样: final ExecutorService Gathers = Executors.newFixedThreadPool(gatherNum); while(true) { Gathers.execute(new Gather()); } 但是在测试中发现 即使将gather ...
因为前面一个星期回家看病(都是coding)惹得祸 所以一直没上线 所以前面的帖子就没看 当然问题也没解决     http://www.iteye.com/post/400274 有朋友说MD5有问题 我觉得没有阿 还是贴下保险 /** * @functionName: generateMD5 * @description: generate the MD5 digest from 16 byte int to the ASCII format * @version: 1.0 * @beCareful:16 byte int -> 32 byte ASC ...
这边有个程序给改了之后发生了内存泄露 但是自己找不出原因 大家看看是哪出错了 这是根据jprofile找出的内存使用不正常的代码 private ArrayList<String> ParseHyperLinks() throws ParserException { ArrayList<String> hyperLinks = new ArrayLi ...
以下是程序 只能抓取前面一个网页 后面复用的不行 public class text { public static void main(String[] args) throws IOException { String hostname = "www.iteye.com"; int port = 80; InetAddress addr = InetAddress.getByName(hostname); System.out.println(addr); Socket s = new Socket(hostname, port); // s.set ...
Global site tag (gtag.js) - Google Analytics