`

php抓取网页内容的方法

    博客分类:
  • php
阅读更多

转自: http://bbs.phplovers.com/read-htm-tid-453.html

1、file_get_contents:

 

<?php
$url = "http://www.phpzixue.cn"; 
$contents = file_get_contents($url); 
//如果出现中文乱码使用下面代码 
//$getcontent = iconv("gb2312", "utf-8",$contents); 
echo $contents; 
?>

 

 

2、curl:

 

<?php
$url = "http://www.phpzixue.cn";
$ch = curl_init(); 
$timeout = 5; 
curl_setopt($ch, CURLOPT_URL, $url); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); 
//在需要用户检测的网页里需要增加下面两行 
//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY); 
//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD); 
$contents = curl_exec($ch); 
curl_close($ch); 
echo $contents; 
?>

 

 

3、fopen->fread->fclose:

 

<?php
$handle = fopen ("http://www.phpzixue.cn", "rb"); 
$contents = ""; 
do { 
$data = fread($handle, 1024); 
if (strlen($data) == 0) { 
break; 
} 
$contents .= $data; 
} while(true); 
fclose ($handle); 
echo $contents; 
?>
 

 

分享到:
评论

相关推荐

    PHP获取网页内容的方法.pdf

    以上是PHP获取网页内容方法的详细介绍,理解并掌握这些知识点,对于进行网页数据抓取、网站数据采集等工作十分关键。由于在获取内容的过程中可能受到网站反爬虫策略的影响,开发者还需要注意合理设置请求头部、使用...

    php获取网页内容方法总结

    抓取到的内容在通过正则表达式做一下过滤就得到了你想要的内容,至于如何用正则表达式过滤,在这里就不做介绍了,有兴趣的,以下就是几种常用的用php抓取网页中的内容的方法。1.file_get_contents PHP代码 复制代码 ...

    PHP获取网页内容的方法.txt

    PHP获取网页内容的方法.txt

    PHP 获取网页内容的三种方法

    本文将详细探讨标题“PHP获取网页内容的三种方法”,帮助开发者了解如何利用PHP抓取和处理网页数据。 1. cURL库 cURL是PHP中最常用的方法之一,用于获取网页内容。cURL库提供了一组强大的函数,可以模拟HTTP请求,...

    php应用curl扩展抓取网页类.zip

    3. **执行请求**:使用`curl_exec()`执行HTTP请求,并获取网页内容。这通常在类的一个方法中完成,如`fetchPageContent()`。 4. **处理响应**:类可能会包含正则表达式(RegEx)方法,如`extractTitle()`和`extract...

    PHP 获取页面内容和保存页面内容

    本文将深入探讨如何使用PHP获取页面内容以及保存页面内容,这在数据抓取、网页备份、内容分析等多个场景中都有实际应用。 首先,我们要了解如何使用PHP获取页面内容。在PHP中,可以使用内置的`file_get_contents()`...

    PHP模拟baidu蜘蛛抓取网站链接

    接着,我们要理解HTTP协议,特别是GET方法,这是爬虫通常用来获取网页内容的方式。HTTP GET请求会从服务器获取指定URL的资源,这对于抓取网页的HTML至关重要。 然后,我们需要解析HTML文档。PHP提供了DOMDocument和...

    PHP编程使用Curl方法获取目标网页内容插件.rar

    1.插件说明: 设计插件的目的是当需要读取网页内容时,可以用...引入本插件文件后,实例化CurlGetContents.class.php文件,用得到的对象调用PIPHP_CurlGetContents方法传入网页URL地址和浏览器的用户代理字符串即可。

    PHP获取网页内容的方法宣贯.pdf

    在PHP中,获取网页内容是常见的任务,常用于网络爬虫、数据分析或其他需要从网站抓取信息的应用。这里介绍六种不同的方法: 1. **file_get_contents**:这是最简单的获取网页内容的方法,适合基本需求。例如: ```...

    PHP抓取网页程序库

    **PHP抓取网页程序库——PHPCrawl详解** 在互联网数据挖掘和信息处理领域,PHP抓取网页程序库,如PHPCrawl,扮演着至关重要的角色。PHP是一种广泛使用的服务器端脚本语言,尤其在Web开发中应用广泛,而PHPCrawl则是...

    PHP多线程抓取多个网页及获取数据的通用方法.pdf

    PHP多线程抓取多个网页及获取数据的通用方法 本文将详细介绍如何使用PHP多线程抓取多个网页及获取数据的通用方法,并通过实例演示如何使用CURL多线程抓取Adobe公司提供的免費网络相册的图片外链地址。 多线程抓取...

    php网页抓取小偷程序

    【PHP网页抓取小偷程序】是一种用于自动化获取远程网页内容并将其存储到数据库的应用程序。这个程序通常由几个关键组件组成,包括处理命令的`command.php`、展示用户界面的`index.php`、实际执行抓取任务的`get.php`...

    PHP获取远程div内容

    在PHP中,获取远程网页的特定div内容是常见的需求,比如你可能想要抓取某个网站的动态信息或者数据。这通常涉及到网页抓取(Web Scraping)和HTML解析技术。以下是一个详细的步骤来实现这个功能: 1. **使用cURL...

    PHP抓取网页数据代码

    在PHP中,我们可以使用内置的`file_get_contents`函数来获取网页的HTML源代码,或者使用cURL库来实现更复杂的HTTP操作。一旦获取到HTML,我们就可以使用DOM解析器如`DOMDocument`和`DOMXPath`来查找并提取特定元素。...

    Snoopy_PHP网页抓取工具

    Snoopy_PHP网页抓取工具 snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。

    php获取URL中带#号等特殊符号参数的解决方法

    服务器端的PHP代码无需任何特殊处理,当使用上述JavaScript方法进行编码后,我们可以直接通过`$_GET['key']`获取完整的、编码后的参数值。然后,在PHP代码中,我们可能需要使用urldecode函数来对获取的值进行解码,...

    PHP抓取网页新闻函数(包含示例)

    - PHP的`file_get_contents()`函数:这是最基础的获取网页内容的方法,通过URL直接获取HTML源码。 - `cURL`库:提供更灵活的HTTP请求功能,可以处理各种HTTP选项,如设置代理、cookies、HTTP头等。 2. **正则...

    php应用curl扩展抓取网页类

    使用cURL获取网页内容,可以设置`CURLOPT_RETURNTRANSFER`选项,使得cURL不直接输出,而是返回结果。然后可以通过`curl_exec()`执行请求。 5. **正则表达式抓取** 一旦获取到网页内容,可以使用PHP的`preg_match...

Global site tag (gtag.js) - Google Analytics