爬取一个https 的网站

朋友让帮忙爬取一个https的网站，帐号密码都有。
自个去看了下，乍看之下，似乎很简单。
但是该网站的的安全性，我觉得挺高的。有效的减少了程序爬取成功的骚扰性。

网站使用 https协议，并使用juniper client来维持session。
也就是说在你登录后的第一步，他要求client端启动一个 juniper client 和server同步，并以一小时为时间段。
这样的话，他就可以有效的监控当前用户有多少个session在访问。

于是很悲催的事情，就是这种事情了。
测试过程中，经常因为各种异常来不及推出，于是原来的session就会一直在，直到我下次登录或者logout。

当然，这些都不是重点。

于是，使用了 selenium 来操纵 firefox。于是启动了custom firefox。进行了一系列的操作。
真心好用。

打完收工。