使用PHP
的cURL
库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据
了。无论是你想从从一个链接上取部分数据,或是取一个XML
文件并把其导入数据库,那怕就是简单的获取网页内容,cURL
是一个功能强大的PHP
库。本文主要讲述如果使用这个PHP
库。
启用 cURL
设置
首先,我们得先要确定我们的PHP
是否开启了这个库,你可以通过使用php_info()
函数来得到这一信息。
﹤?php
phpinfo();
?﹥
如果你可以在网页上看到下面的输出,那么表示cURL
库已被开启。
如果你看到的话,那么你需要设置你的PHP
并开启这个库。如果你是在Windows
平台下,那么非常简单,你需要改一改你的php.ini
文件的设置,找到php_curl.dll
,并取消前面的分号注释就行了。如下所示:
//取消下在的注释
extension=php_curl.dll
如果你是在Linux
下面,那么,你需要重新编译你的PHP
了,编辑时,你需要打开编译参数——
在configure
命令上加上“–with-curl”
参数。
一个小示例
如果一切就绪,下面是一个小例程:
﹤?php
// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com');
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);
如何POST
数据
上面是抓取网页的代码,下面则是向某个网页POST
数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php
,其可以接受两个表单域,一个是电话号码,一个是短信内容。
﹤?php
$phoneNumber = '13912345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();
curl_close($ch);
?﹥
从上面的程序我们可以看到,使用CURLOPT_POST
设置HTTP
协议的POST
方法,而不是GET
方法,然后以CURLOPT_POSTFIELDS
设置POST
的数据。
关于代理服务器
下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。
﹤?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();
curl_close($ch);
?﹥
关于SSL
和Cookie
关于SSL
也就是HTTPS
协议,你只需要把CURLOPT_URL
连接中的http://
变成https://
就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST
可以设置为验证站点。
关于Cookie
,你需要了解下面三个参数:
CURLOPT_COOKIE
,在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR
,当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE
,Cookie
的文件。
HTTP
服务器认证
最后,我们来看一看HTTP
服务器认证的情况。
﹤?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')
$data = curl_exec();
curl_close($ch);
?﹥
关于其它更多的内容,请参看相关的cURL
手册。
分享到:
相关推荐
在这个PHP100视频教程88中,我们将深入学习如何利用PHP的cURL库来实现这个功能。cURL,全称Client URL Library,是一个强大的工具,允许我们在PHP中发送各种HTTP请求,包括POST、GET等,以及处理cookies、代理服务器...
在PHP开发过程中,cURL库是一个非常重要的工具,它允许我们执行HTTP请求并与其他网络服务进行交互。然而,有时在Windows环境下,你可能会发现PHP环境中并没有预装cURL扩展,这将导致无法使用cURL相关的函数。本文将...
通过学习"PHP100视频教程87:PHP.之.CURL.传输与获取功能",你可以深入了解CURL在PHP中的应用,并通过配套的PPT和WMV视频深入理解每一个知识点,逐步掌握如何利用CURL进行高效、安全的Web数据交互。这将极大地提升你...
【cURL快速入门教程】 cURL,全称Client URL Library,是一个开源的库,它允许开发者通过URL语法在各种协议之间传输数据,如HTTP、FTP、TELNET等。cURL在PHP中的应用广泛,尤其在制作小偷程序或网页抓取时非常有用...
学习更多关于cURL和PHP的整合类,可以参考PHP官方文档、cURL库的文档以及在线教程。同时,实践是最好的老师,通过实际项目来熟悉和掌握这个整合类的功能和用法。 通过这个"php的curl整合类",开发者可以更高效、...
php5.6 curl拓展不能开启资源下载 php5.6版的以上方法都不行,是原安装包的.dll文件有问题,下载ssleay32.dll这个文件即可,亲测
更多关于 PHP 相关内容,可以查看《php curl 用法总结》、《PHP 网络编程技巧总结》、《PHP 数组(Array)操作技巧大全》、《php 字符串(string)用法总结》、《PHP 数据结构与算法教程》及《PHP 中 json 格式数据操作...
PHP100视频教程87:PHP 之 CURL 传输与获取功能 PHP100视频教程88:PHP 之 CURL模拟登陆并获取数据 PHP100视频教程89:PHP XML 的 DOMDocument 读取功能 PHP100视频教程90:PHP DOM 创建生成多功能 XML文件 ...
本教程将详细讲解如何使用PHP结合cURL来实现126邮箱的登录及好友邀请功能,同时解决可能出现的网络问题。 首先,我们需要了解PHP cURL库的基本用法。cURL是客户端URL传输库,通过libcurl库提供,支持多种协议如HTTP...
本教程将详细讲解如何在PHP中使用CURL来处理微信接口的GET与POST请求。 首先,我们需要理解GET和POST两种HTTP方法的基本概念。GET是用于获取资源,通常用于查询操作,参数显示在URL上;而POST则用于向服务器提交...
PHP cURL实现模拟登录与采集使用方法详解教程 PDF
本教程将详细介绍一个基于CURL的PHP5简单类,这个类主要用于学习和理解如何在PHP中利用CURL进行网络通信。首先,我们来看一下CURL类的基本结构和核心功能。 1. **类定义与初始化** 类通常包含构造函数,用于在实例...
在本文中,我们将详细介绍PHP中curl的基本使用方法,包括curl的概念、安装过程、以及在PHP中使用curl的四个基本步骤,并且通过一个简单的代码示例来展示如何利用curl来抓取网页内容。 首先,我们需要对curl有一个...
本教程将深入探讨如何使用PHP的cURL库来模拟查询EMS(中国邮政速递物流)的快递单状态,以便获取包裹的实时投递信息。 首先,我们需要理解`cURL`的工作原理。cURL是一个命令行工具,同时也提供了PHP的扩展,允许...
10. PHP拓展:如GD库进行图像处理,cURL库进行HTTP请求等。 11. 安全性:了解SQL注入、XSS攻击等常见安全问题及防范措施。 12. PHP配置和优化:理解php.ini配置文件,优化PHP性能。 通过W3School的PHP中文教程,你...
涵盖的主题包括但不限于:通过 PHP 中的 CURL 来进行多种模拟任务(比如模拟登陆),多线程的实现与 CPU 使用优化,POST 请求的不同实现方式及注意事项等,并针对实际案例进行分析指导。 适用人群:初级到中级水平的...
7. 更多PHP资源:文章还提供了关于PHP的其它一些学习资源,如phpcurl用法总结、php日期与时间用法总结、php面向对象程序设计入门教程、php字符串(string)用法总结、php+mysql数据库操作入门教程及php常见数据库操作...
### 更改PHP版本教程 #### 一、引言 在Web开发领域,PHP作为一种流行的服务器端脚本语言,被广泛应用于动态网站的构建之中。随着技术的发展与安全性的提升,PHP版本不断更新迭代。掌握如何在不同的环境中更换PHP...
PHP的CURL库简单和有效地抓网页.doc PHP的文件与目录操作.doc PHP的目录操作和文件操作.doc PHP网站开发编程中的特殊符号处理.doc PHP网站程序乱码问题解决方法.doc PHP表单处理.doc PHP语法-数组.doc PHP随机显示...