使用PHP的cURL库可以简单和有效地去抓网页,您只需要运行一个脚本,然后分析一下您所抓取的网页,然后就可以以程序的方式得到您想要的数据了。无论是您想从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,哪怕就是简单的获取网页内容,cURL是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。
启用cURL设置
首先,我们得先要确定我们的PHP是否开启了这个库,您可以通过使用php_info()函数来得到这一信息:
phpinfo();
?>
如果您可以在网页上看到下面的输出,那么表示cURL库已被开启。
如果您看到的话,那么您需要设置您的PHP并开启这个库。如果您是在Windows平台下,那么非常简单,您需要改一改您的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了,如下所示:
//取消下在的注释
extension=php_curl.dll
如果您是在Linux下面,那么,您需要重新编译您的PHP了,编辑时,您需要打开编译参数,在configure命令上加上“–with-curl”参数。
一个小示例
如果一切就绪,下面是一个小例子:
// 初始化一个cURL对象
$curl = curl_init();
// 设置您需要抓取的URL
curl_setopt($curl, CURLOPT_URL, ’http://www.example.com’);
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL参数,要求结果保存到字符串中还是输出到屏幕上
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);
?>
如何POST数据
上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。示例代码如下:
$phoneNumber = ’13912345678′;
$message = ’This message was generated by curl and php’;
$curlPost = ’pNUMBER=’ . urlencode($phoneNumber) . ’&MESSAGE=’ . urlencode($message) . ’&SUBMIT=Send’;
$ch = curl_init();curl_setopt($ch, CURLOPT_URL, ’http://www.example.com/sendSMS.php’);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();
curl_close($ch);
?>
从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。
关于代理服务器
下面是一个如何使用代理服务器的示例,代码很简单,我就不用多说了:
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, ’http://www.example.com’);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, ’fakeproxy.com:1080′);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, ’user:password’);
$data = curl_exec();
curl_close($ch);
?>
关于SSL和Cookie
关于SSL也就是HTTPS协议,您只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。
关于Cookie,您需要了解下面三个参数:
1、CURLOPT_COOKIE:在当面的会话中设置一个cookie
2、CURLOPT_COOKIEJAR:当会话结束的时候保存一个Cookie
3、CURLOPT_COOKIEFILE:Cookie的文件。
HTTP服务器认证
最后,我们来看一看HTTP服务器认证的情况:
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, ’http://www.example.com’);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, ’[username]:[password]‘)
$data = curl_exec();
curl_close($ch);
?>
分享到:
相关推荐
然而,有时在Windows环境下,你可能会发现PHP环境中并没有预装cURL扩展,这将导致无法使用cURL相关的函数。本文将详细介绍如何在Windows上安装和配置PHP的cURL扩展。 首先,我们需要理解cURL是什么。cURL(Client ...
以下是一个简单的`batch.php`示例,展示了如何使用cURL批量请求URL: ```php <?php // 定义URL数组 $urls = [ 'http://example1.com', 'http://example2.com', 'http://example3.com', // 更多URL... ]; // ...
5. 创建一个简单的 PHP 文件测试 Curl 是否已启用,例如: ```php $ch = curl_init("http://www.php.net"); curl_exec($ch); curl_close($ch); ``` 如果能成功访问并显示 http://www.php.net 的内容,说明 ...
在PHP后端开发中,有时候我们需要使用cURL库来处理HTTP请求,比如文件的上传或下载。当处理大文件时,为了提供更好的用户体验,我们可能会希望实现一个进度条功能,以便用户可以直观地看到文件传输的进度。本篇文章...
创建"demo2.php"文件,使用类似的方法初始化cURL会话,但这次需要设置POST数据和相关头部信息。 ```php $data = 'theCityName=郑州'; $curl_obj = curl_init(); curl_setopt($curl_obj, CURLOPT_URL, ...
下面是一个简单的PHP代码示例,演示了如何使用cURL进行自动微博登录: ```php <?php $ch = curl_init(); // 初始化cURL会话 // 获取登录页面的cookie curl_setopt($ch, CURLOPT_URL, '...
下面是一个简单的Curl封装类的代码示例: ```php class CurlWrapper { private $ch; public function __construct() { $this->ch = curl_init(); } public function setOpt($option, $value) { curl_setopt...
在本文中,我们将深入探讨Freeswitch中的XML_CURL模块及其使用方法,特别是在与PHP集成时如何生成XML文件,以及如何用它来替代传统的directory、ivr(交互式语音响应)和dialplan配置。 Freeswitch是一个开源的软...
对于 PHP 开发者来说,本文提供了一个简单的示例,演示了如何使用 curl 模拟 post 提交 json 数据的操作步骤。同时,也提供了一些有用的 json 在线工具,供大家参考使用。 更多关于 PHP 相关内容,可以查看《php ...
CURL,全称为Client URL Library Function,是在PHP中广泛使用的库,用于处理各种类型的URL请求。它支持多种协议,如HTTP、HTTPS、FTP等,并提供了丰富的API来控制请求和响应的细节。本文将深入探讨CURL在PHP中的...
首先,使用`curl`获取网页HTML内容,然后用`phpQuery`解析这个内容,提取我们需要的信息。下面是一个示例,展示如何抓取并解析一个页面上的所有链接: ```php $ch = curl_init('http://example.com'); curl_setopt...
7. **开始使用cURL**:一旦安装完成,你就可以开始在PHP代码中使用cURL了。例如,以下代码演示了如何发送一个简单的GET请求: ```php $ch = curl_init('http://example.com'); curl_setopt($ch, CURLOPT_...
本文将详细介绍`curl`在PHP中的应用,以及如何使用提供的`curl.exe`在CMD命令行环境下运行。 首先,`curl.exe`是一个可执行文件,它是libcurl库的一部分,可以在命令行环境中直接调用。在PHP中,通常我们使用`curl`...
php的curl库简单实用,其中包含了网页抓取和远程登录
封装cURL类的主要目的是将复杂的cURL操作抽象成易于理解和使用的函数或方法,减少代码冗余,提高代码的可读性和可维护性。这样,开发者只需调用类的方法,就能完成网络请求,而无需关心底层的实现细节。 3. **类...
总的来说,PHPcURL是一个强大且灵活的工具,它允许开发者在PHP应用程序中轻松地实现网络通信,无论是简单的HTTP GET请求还是复杂的文件上传和下载,甚至是处理重定向和身份验证。正确理解和使用cURL选项,可以帮助...
总的来说,PHP cURL 提供了一种高效且灵活的方式来执行HTTP请求,无论是简单的GET还是复杂的POST,甚至通过代理服务器,都可轻松实现。熟练掌握 cURL 的使用,能够极大地提升你的Web开发能力,特别是在进行数据抓取...
2. **设置选项**: 使用`curl_setopt()`函数设置cURL会话的各种参数,包括请求的URL。 ```php curl_setopt($ch, CURLOPT_URL, "http://www.example.com"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 将响应...