`
hongtoushizi
  • 浏览: 377049 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

PHP模拟登录并获取数据

阅读更多

转载自: http://www.helloweba.com/view-blog-253.html

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用。

PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 
function login_post($url$cookie$post) { 
    $curl = curl_init();//初始化curl模块 
    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 
    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 
    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 
    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 
    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 
    curl_exec($curl);//执行cURL 
    curl_close($curl);//关闭cURL资源,并且释放系统资源 

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。

接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 
function get_content($url$cookie) { 
    $ch = curl_init(); 
    curl_setopt($ch, CURLOPT_URL, $url); 
    curl_setopt($ch, CURLOPT_HEADER, 0); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 
    $rs = curl_exec($ch); //执行cURL抓取页面内容 
    curl_close($ch); 
    return $rs

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 
$post = array ( 
    'email' => 'oschina账户'
    'pwd' => 'oschina密码'
    'goto_page' => '/my'
    'error_page' => '/login'
    'save_login' => '1'
    'submit' => '现在登录' 
); 
 
//登录地址 
$url = "http://m.oschina.net/action/user/login"
//设置cookie保存路径 
$cookie = dirname(__FILE__) . '/cookie_oschina.txt'
//登录后要获取信息的地址 
$url2 = "http://m.oschina.net/my"
//模拟登录 
login_post($url$cookie$post); 
//获取登录页的信息 
$content = get_content($url2$cookie); 
//删除cookie文件 
@ unlink($cookie); 
//匹配页面信息 
$preg = "/<td class='portrait'>(.*)<\/td>/i"
preg_match_all($preg$content$arr); 
$str = $arr[1][0]; 
//输出内容 
echo $str

运行上述代码后,我们会看到最终获取到登录用户的头像图片。

使用总结

1、初始化curl;

2、使用curl_setopt设置目标url,和其他选项;

3、curl_exec,执行curl;

4、执行后,关闭curl;

5、输出数据。

参考文献

《curl简介及php中的curl》,作者不详,http://www.2cto.com/kf/201208/147091.html

《使用PHP CURL的POST数据》,作者:Veda,http://www.nowamagic.net/librarys/veda/detail/124

《php 使用curl模拟登录discuz以及模拟发帖》,作者:tianxin,http://www.cnblogs.com/tianxin2001x/archive/2009/10/28/1591311.html

分享到:
评论

相关推荐

    PHP+Curl远程模拟登录并获取数据

    本篇文章将详细探讨如何利用PHP结合cURL来实现远程模拟登录并获取数据。 首先,让我们理解一下PHP中的cURL库。cURL是一个用于传输数据的库,它提供了在各种协议下交换数据的能力,包括HTTP、FTP、SMTP等。PHP的cURL...

    PHP100视频教程88:PHP.之.CURL模拟登陆并获取数据.rar

    【PHP与CURL模拟登录及数据获取】 在Web开发中,有时我们需要模拟用户登录到某个网站,以便自动化处理一些任务或获取受保护的数据。在这个PHP100视频教程88中,我们将深入学习如何利用PHP的cURL库来实现这个功能。...

    PHP使用Curl实现模拟登录及抓取数据功能示例

    在PHP开发中,有时我们需要获取一些需要用户登录后才能访问的网页内容,此时可以借助Curl库来模拟登录过程并抓取数据。Curl库是一个强大的URL处理工具,支持多种协议,包括HTTP、HTTPS等,它能让我们在PHP中发送HTTP...

    PHPCURL模拟登录获取及提交数据的函数.pdf

    PHPCURL模拟登录获取及提交数据的函数 PHPCURL是一个基于PHP语言的CURL扩展库,提供了模拟浏览器的功能,可以模拟用户的浏览器行为,发送HTTP请求,获取服务器响应数据,提交数据等。该库广泛应用于爬虫、自动化...

    php snoopy 模拟表单提交 数据抓取

    Snoopy是一个PHP库,专门用于模拟浏览器行为,进行HTTP请求,尤其是处理表单提交和登录过程,从而实现网页数据的抓取。本篇文章将详细介绍如何使用Snoopy库进行模拟表单提交和数据抓取。 首先,我们需要了解Snoopy...

    PHP中使用CURL模拟登录并获取数据实例

    在PHP编程中,模拟登录网站并获取数据是一项常见的技术任务。本文将详细介绍如何使用PHP的cURL库来实现模拟登录,并从指定网站获取个人数据。实例中将演示如何登录开源中国(oschina)的移动端,并获取登录后的页面...

    php 模拟登录discuz2.0 论坛,发贴

    总的来说,PHP模拟登录Discuz! 2.0论坛并进行发帖涉及了对HTTP协议的理解、cURL的使用、网页数据的解析和模拟表单提交等多个环节。每个步骤都需要仔细研究和调试,以确保程序能正确地完成任务。在实际应用中,可能还...

    php 模拟浏览器请求网页见容

    当我们需要从网页抓取内容,而直接访问又有困难时,可以利用PHP模拟浏览器请求网页内容。这一技术常被称为“网页抓取”或“屏幕抓取”,在...理解并掌握这些方法,将有助于你在实际项目中更高效地获取和处理网络数据。

    微信模拟登录,获取分组,获取用户,发送微信

    在微信模拟登录中,开发者可能需要利用requests库或类似工具来发送网络请求,并解析HTML或JSON响应来获取必要的数据。 接下来是“私有Web API”的调用。微信提供了丰富的API接口供开发者使用,但部分接口可能需要...

    PHP基于curl模拟post提交json数据示例.docx

    PHP 基于 curl 模拟 post 提交 json 数据示例 本文主要介绍了 PHP 基于 curl 模拟 post 提交 json 数据操作,通过实例形式分析了 PHP 使用 curl 实现 post 方式提交 json 数据相关操作步骤与留意事项。下面是文章的...

    php curl 模拟登录并获取数据实例详解

    cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国...

    数据提取范例 数据提取 提取 php

    DOMDocument和DOMXPath允许我们解析HTML文档,通过XPath表达式定位到目标元素,进而提取数据。file_get_contents则能方便地读取远程文件内容,而curl库则更适用于处理复杂的HTTP请求,如模拟登录、设置头部信息等。 ...

    可用模拟攒机,模拟模拟中关村攒机系统

    PHP是一种广泛使用的服务器端脚本语言,常用于开发Web应用程序,而MySQL则是一个开源的关系型数据库,适合处理大量数据并提供高效的服务。"亲测可用"表示这个系统已经经过实际测试,功能正常,用户可以放心尝试。 ...

    PHPcurl模拟IP浏览器请求

    结合以上知识点,以下是一个完整的PHP模拟IP浏览器请求的示例代码: ```php &lt;?php // 初始化cURL会话 $ch = curl_init('http://example.com'); // 设置cURL选项 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); ...

    PHP如何获取Cookie并实现模拟登录

    总结,通过以上步骤,我们使用PHP获取了服务器的Cookie,模拟了登录过程,并访问了登录后的页面。这个过程对于自动化测试、数据抓取或其他需要模拟用户身份的场景非常有用。然而,需要注意的是,这应当遵循合法且...

Global site tag (gtag.js) - Google Analytics