浏览 644 次
锁定老帖子 主题:python爬取植物物种信息数据
精华帖 (0) :: 良好帖 (0) :: 灌水帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2021-09-14
所以今天我们就利用python爬取植物数据库,查找物种信息,将更多的物种信息分享给大家,一起更好的保护我们的生态系统。目标网站http://db.kib.ac.cn/CNFlora/HierarchicalSearch.aspx 代码如下: <?php // 要访问的目标页面 $url = "http://db.kib.ac.cn/CNFlora/HierarchicalSearch.aspx"; $urls = "http://db.kib.ac.cn/CNFlora/HierarchicalSearch.aspx"; // 代理服务器(产品官网 www.16yun.cn) define("PROXY_SERVER", "tcp://t.16yun.cn:31111"); // 代理身份信息 define("PROXY_USER", "username"); define("PROXY_PASS", "password"); $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS); // 设置 Proxy tunnel $tunnel = rand(1,10000); $headers = implode("\r\n", [ "Proxy-Authorization: Basic {$proxyAuth}", "Proxy-Tunnel: ${tunnel}", ]); $sniServer = parse_url($urls, PHP_URL_HOST); $options = [ "http" => [ "proxy" => PROXY_SERVER, "header" => $headers, "method" => "GET", 'request_fulluri' => true, ], 'ssl' => array( 'SNI_enabled' => true, // Disable SNI for https over http proxies 'SNI_server_name' => $sniServer ) ]; print($url); $context = stream_context_create($options); $result = file_get_contents($url, false, $context); var_dump($result); // 访问 HTTPS 页面 print($urls); $context = stream_context_create($options); $result = file_get_contents($urls, false, $context); var_dump($result); ?> 还需要注意的是,在爬取的过程中一开始我只能获取几十条数据,获取量实在是太少了,于是添加了随机的代理以及请求头就可以解决,今天就分享到这里若有需要改进的地方,欢迎指点! 声明:ITeye文章版权属于作者,受法律保护。没有作者书面许可不得转载。
推荐链接
|
|
返回顶楼 | |