php无需设置规则，抓取网页主要内容的实现

hpu423

浏览: 3803 次
性别:
来自: 上海

最近访客更多访客>>

博主相关

博客

微博

相册

留言

关于我

文章分类

全部博客 (2)

社区版块

存档分类

2010-10 ( 2)
更多存档...

PHP CSS HTML XML J#

   在网上经常看到一些网页采集方案，，但总绕不过采集规则的设置，每抓取一种类型的网页需要设置一种规则。。用这些规则进行替换，正则，踢除等操作，，然后取出页面的内容。。

有没有一种好的方法，不用我们为每一种类型的网页书写规则呢？？

下面就来讨论这个问题：：

比如我们抓取新浪新闻的内容，我们看到每个新闻内容那一块，代码基本是整个网页里面字符数最多的，如果我们把这一块代码取出来，不就达到我们的目的了吗？

我们知道html其实是xml的一种,我们把新浪某个新闻的显示代码当作xml来处理，，

我们找出这个xml页面里面所有的父节点，以及父节点里面包含的子节点，，将他们写入一个数组，，

然后以这些节点字符串的长度，由大到小，对这些节点进行排序，，，理论上，，排序后的数组，第一个节点即是我们需要的内容。。。

另，一个页面中可能有许多js广告代码或者css代码，我们可以将他们先清除，，以减少误差。。

还有一个问题，因为我们是取出一个页面所有的节点，，一个大的页面，，节点太多了，，很耗资源，，有时可能造成机器崩溃，，那么该怎么办呢？？

我们发现一般新闻内容节点大部分是<div>,<td>,那么我们可以只取这两种节点即可，，可以节省许多资源，，具体取那种节点也可以自己设置。。。

另一种节省资源的方案是这样的，，比如我发现新闻内容节点里面必须包含“新浪”这两个字，，那么我们可以把不包含这两个字的节点去掉。。相反的道理，如果新闻内容节点不包含“新浪”这两个字，我们也可以剔除包含这两个字的节点。。当然这种剔除多余节点的规则也很多。。

最后我们也可以用“similar_text”这个函数来去除一些节点，减少干扰，具体做法，请读者自己体会：

similar_text() 函数计算两个字符串的匹配字符的数目。

该函数也可以计算两个字符串的相似度（以百分比计）。

下面我给出我的一个简单方案：

需要用到"simple_html_dom",具体请打开 http://simplehtmldom.sourceforge.net/

下面是代码:可以输入网址如： http://news.sina.com.cn/c/2010-10-21/085321321471.shtml试试
<?php
//自动得到文章
include('simplehtmldom/simple_html_dom.php');
function requests($str) {
    return isset($_REQUEST[$str]) ? $_REQUEST[$str]:"";
}
//include('../include/config.php');
$similar = 40; //相似度
?>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
</head>
<body>
<div style="width:760px; margin:0 auto;">

<div>
<form name="sad" method="post" action="">

<input type="text" name="str" value="" size=100 ><br>
<input type="submit" name="sub" value="提交">

</form>
</div>
<div style="width:600px;">
<?
$str = requests("str");
if($str != ""){
$str = trim($str);
$str = file_get_contents($str);
$str = strtolower($str);
//去js css
$str = preg_replace("'<script[^>]*?>.*?</script>'si", "", $str);
$str = preg_replace("'<style[^>]*?>.*?</style>'si", "", $str);

$html = str_get_html($str);
$tagarr = array('div', 'td','li');
$rs = array();
foreach($tagarr as $tag){
    $tdo = $html->find($tag);
    $tds = array();
    foreach($tdo as $tv){
        $tds[] = $tv->innertext;
    }
    foreach($tds as $v){
        $v = strip_tags($v);
        $len = strlen($v);
        $rs[$len] = $v;
    }

}

ksort($rs);
$tarr =array_reverse($rs);
//fdebug($tarr);
$i = 0;
$len = count($tarr);
$tarr2 = $tarr;
for($i;$i <$len; $i++ ){
       $j = $i + 1 ;
    for($j ; $j < $len ; $j++){
        $intv = similar_text($tarr[$i], $tarr[$j]);
        $ra = number_format(($intv / strlen($tarr[$i])) * 100,2);
        if($ra > $similar){
            unset($tarr2[$i]);continue ;
        }
     // echo $ra ."<br>";
    }
   // echo $i . "=======================<br>";
}
unset($tarr);
//sort($tarr2);
$tarr =array_reverse($tarr2);
//fdebug($tarr);
$rv = "";
if(count($tarr) > 0){
$rv = $tarr[count($tarr)-1];
$rv = str_replace(' ', '' , $rv);
$rv = str_replace('<br />', '' , $rv);
$rv = str_replace("\n", '' , $rv);
$rv = str_replace("\r", '' , $rv);
}
echo $rv;
}
?>
</div>
</div>
</body>
</html>

首发地址 http://www.yichao123.com/a/v.php?id=500

分享到：

仿csdn,2周不用登录功能碰到的bug

2010-10-21 12:02
浏览 2435
评论(1)
分类:编程语言
查看更多

1 楼 waiting 2010-10-29

PHP5内置的DOM系列函数应该也可以实现。

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论