- 浏览: 26942 次
- 性别:
- 来自: 北京
最新评论
文章列表
在信息大爆炸的互联网,数据多的烦不胜数,想要人为的统计某类信息,恐怕越来越难了,这时候就需要爬虫的帮助了,一如 360 爬取百度的百科、知道,一淘爬取各大电商的产品、用户评论,百姓网从赶集网页面上收集其用户公开的 QQ 邮箱并发送推广邮件。。。
随着爬虫的发展,已经严重危害了目标网站的服务质量及数据安全,于是他们开始各种围追堵截。道高一尺魔高一丈,我们的爬虫终究能够突破层层壁垒,拿到想要的数据。
今天,我们就做一件事,让爬虫更智能。一般的服务器都会判断访问来源的 User-Agent,适时的更好一下你的
解析 Github 的默认头像
Github 给无头像用户生成 5x5 像素的 Identicons 头像,请看 Github 官方的例子,很好看的样子啊:
这一生成过程使用了用户ID的哈希值,然后根据哈希值每一位的奇偶值来决定对应位置上的像素的开关。这样生成 的图像,配上由哈希值决定的颜色,保证可生成大量独一无二的图像。
有 Gravatar 头像的用户也可以查看自己的 Identicon 头像,这样的地址:
帮助自己学一个单词 :
星号 asterrisk ['æstərɪsk]
=========================我是左右对称的分割线,下边正文开始=========================
1.有正常的乘法功能
3 * 4 == 12 # => true
2.数组*integer
[1,2 ,[3 , [4 ,5]]] *2 = [1,2 ,[3 , [4 ,5]] , 1,2 ,[3 , [4 ,5]]]
3.字符串*integer
"hello"*2 = &qu ...
Ruby通过Luhn算法验证信用卡卡号的有效性
- 博客分类:
- ruby
def luhn(code)
s1 = s2 = 0
code.to_s.reverse.chars.each_slice(2) do |odd, even|
s1 += odd.to_i
double = even.to_i * 2
double -= 9 if double >= 10
s2 += double
end
(s1 + s2) % 10 == 0
end
[49927398716, 49927398717, 1234567812345678, 1234567812345670]. ...
简介
RSS是站点用来和其他站点之间共享内容的一种简易方式(也叫聚合内容),通常被用于新闻和博客等。一个RSS文件通常称为RSS Feed,其实也就是一个*.xml文件。
优点
不用一个网站一个网站,一个网页一个网页去逛了。只要这将你需要的内容订阅在一个RSS阅读器中,这些内容就会自动出现你的阅读器里,你也不必为了一个急切想知道的消息而不断的刷新网页,因为一旦有了更新,RSS阅读器就会通知你!
RSS阅读器
鲜果阅读器
抓虾
RSS文件内容
RSS文件内容包括:当前RSS站点的名称、URL地址、描述、使用的语言,及内容(内容里边有标 ...
刚刚参加完百度的技术沙龙,发现了一个手机开发的新技术,很兴奋,不知道对大家有没有帮助,拿出来共享一下:
PhoneGap基于HTML,CSS,JavaScript;可以将网页程序编译为手机软件。
优点:
支持多平台,包括iphone、android、wp7等
支持访问移动设备的硬件,联系人、文件管理、gps、甚至电子罗盘(通过封装成javascript接口供客户端调用)
良好的兼容性与标准化,web app一字不改就能编译成native app。(例如http://m.oschina.net 可以编译为本地软件装在手机上)
被adobe在2011-10-4收购(开 ...
出的一份ruby笔试题
- 博客分类:
- ruby
http://cao7113.blog.sohu.com/161527237.html
请发动大脑1小时内选做下面尽可能多的题目:特别注意:超时按分钟数的乘方扣分哦!字数超过按同法执行,小心!一 Ruby基础》分别写出进入软件业,接触ruby,(项目中)正式应用ruby的 ...
问题背景 : 在做网上展会项目的时候,由于不同地区的工程文件同时使用了memcache, 举个例子,工程tja,工程tjb,工程tjc,工程tjd. tja..tjd都使用了memcache[:broadcast] = "欢迎参加展会"来存储管理员发送的广播消息. 几个工程广播时不一样的,因此如果都存memcache[:broadcast] = "欢迎参加展会" 是不对的, 但本着不重复自己的原则,我又不想重新写四个memcache的键值,不然四个类似的工程代码,我要维持四份(目前的状况时,一份代码,四份配置) . memcach ...
整个系统代码量少得出奇–大约500行!其作者Rick属于Rails核心开发人员,他还开发了30多种非常有趣有用的Rails插件,是真正的Ruby高手。由Beast代码量之少,可见一斑。 界面简洁清新,基本功能完备。
1.Eclipse w/ADT
虽然Eclipse并非唯一可用于开发Android应用的Java开发环境,但它是目前最欢迎的工具,有很大程度上是因为它的成本很低(免费),但最主要的原因还是它与其他Android工具的强大组合功能。最典型的表现就是它与Android Development Tools(ADT)插件的组合(游戏邦注:开发者可以通过Android网站下载ADT)。
Eclipse
2.Android SDK and AVD Manager
这项SDK可提供多种重要的功能,它能管理不同版本的Android SDK,以及第三方附件、工具、设备驱动程序和文件。第二大功能就是 ...
千呼万唤的Rails3出来了,也该开始学学了,从网上发现一个好的教程http://railscasts.com/episodes,能够下载
但遗憾的是每页只显示10个而且无法批量下载,如是发现右边栏有All Episodes链接。
但是这个没有下载地址,只能一个个点进去才能看见下载地址。仔细对比这两个地址
http://railscasts.com/episodes/234-simple-form
http://media.railscasts.com/videos/234_simple_form.mov
发现他们之间有一定的对应关系,狂喜,于是有了如下代码
...
linux认证:Android系统特质不需要太多剩余内存,其实很多人都是把使用其他系统的习惯带过来来了。android大多应用没有退出的设计其实是有道理的,这和系统对进程的调度机制有关系。如果你知道java,就能更清楚这机制了。其 ...
有些人恨Ruby的unless。 我个人并不这样, 但是我尽力遵守一些规则。 我会用下面都一些例子来澄清这些规则。 下面例子里我标榜为“ok”的只是我的个人喜好,所以我不愿意把它们标榜为“good”, 但是我肯定会避免使用“bad”来标榜它们。
Statement Modifier…Ok
在使用statement modifier(条件修饰符)的时候,我认为unless实际上比if! 更好读。例如:
raise InvalidFormat unless AllowedFormats.include?(format)
...比这个更好读…
raise InvalidFor ...