liangyuliang0335
- 浏览: 6414 次
- 性别:
- 来自: 北京
-
最近访客 更多访客>>
最新评论
-
by5739：
liangyuliang0335 写道by5739 写道请问你 ...
关于nodejs 插件 jsdom内存泄漏，应该注意的问题 -
liangyuliang0335：
by5739 写道请问你做这个的时候jquery和jsdom的 ...
关于nodejs 插件 jsdom内存泄漏，应该注意的问题 -
by5739：
请问你做这个的时候jquery和jsdom的版本是多少？我现在 ...
关于nodejs 插件 jsdom内存泄漏，应该注意的问题 -
liangyuliang0335：
rolenz 写道刚看了一下，不需要OCR，解析JS就行了，和 ...
京东3c商品价格跟踪记录，实时了解商品价格变化 -
rolenz：
刚看了一下，不需要OCR，解析JS就行了，和解析淘宝的折扣价一 ...
京东3c商品价格跟踪记录，实时了解商品价格变化
文章列表
在我开发的网站 [爱比物价跟踪]http://www.etao3c.com时，使用nodejs用于数据抓取，其中用到的解析页面的插件有jsdom, jquery, 刚开始数据量不是很大的时候，抓取没有遇到任何的问题，后来，需要抓取的页面很多（万级别以上），程序就开始包内存溢出，
之后，去google找答案，说是jquery的问题，没有办法我就把jquery去掉了，但是跑了一会，发现还是报统一的错误，最后发现是jsdom的问题，
就是说在使用完dom的时候，没有回收相应的垃圾信息，所以需要，我们自己在调用jsdom.evn使用完dom后，调用一下window.close,只要gc就可以 ...
我是比较喜欢购买3c产品的一个人，而且还是比较喜欢去京东，但是在使用的过程中，我发现他的商品的价格变化太大了，
今天是这个价格明天就是两一个价格，搞的人今天刚买的一个商品，明天就便宜了，很是不爽，
所以我决定做一个关于商品价格历史记录的网站，记录他每天的商品价格，这样就可以让我们什么时候能买到价格更合理的商品。如果大家也有这方面的需求，可以去关注一下我的这个网站：
http://www.etao3c.com
从5月出到现在，我模仿twitter的站点终于上线了
http://www.fenxiangkuaile.com 建议使用chrome浏览器
有兴趣的人可以去看看。。
在这其中遇到了很多问题，不过还好都一一解决了
发一段部署文件的代码，因为这我研究了一天，希望对其他人有帮助
#主要是这个参数，如果没有设置，那么将会找不到 bundle命令
set :default_environment, {
'PATH' => /opt/ruby1.8.7/bin:$PATH
}
set :whenever_environment, defer { :production }
set ...