perl特定网页内容

参考资料：

http://home.donews.com/donews/article/2/22790.html   提取网页

http://huanyue.iteye.com/blog/373148   正则

http://boyun.sh.cn/blog/?p=1042 抓取脚本总结 乱码

http://hi.baidu.com/fanfuns/blog/item/ba650099ada8540d6e068c94.html   生成xml

 

 

 

总结：

a. 在 XP 下还有一种安装模块的方式：
  1 、进入 cmd
  2 、输入 perl   -MCPAN   -e   shell ，然后 install   File::Find （你要安装的模块）即可自动下载、安装模块。如果安 装本模块需要其他一些模块的支持，还能查找是否安装了这些模块并提示安装。第一次执行时可能需要执行一些相关的配置

或者：在dos命令行下启动ppm　
ppm　

获得帮助　
PPM>h　

列出ActiveState站点上所有为Perl模块的清单。　
PPM>search　

安装模块　
PPM>install　DBI　
自动完成DBI模块从下载到安装的全过程。　

退出　
PPM>q　

 

b. =~ （ =~ 运算符并不进行赋值，它只是取出右边的运算符，并使它对左边的变量进行操作）

c . s/searchpartten/replacement/( 替换操作 ) 如： $i=~s/<span class= "itemName" >//;

d . 特殊变量 $& ： 与上个格式匹配的字符串，

    更多请参见：http://blog.csdn.net/zll01/archive/2009/09/04/4520087.aspx

e ．文件打开写入操作

 

源代码：

 

#!/usr/bin/perl
#use strict;
use LWP::Simple;
use HTML::HeadParser;
use HTML::FormatText::WithLinks;
use Encode qw/encode decode/;
use XML::Generator;

my $c = get( 'http://www.nuan.gr.jp/sf/Category.do?catID=10249445' );
encode( "shift-jis" , $c);

while ( $c =~ m!<span class= "itemName[^>].*?</span>!g) {
   push @itemName,$&;
}
$_ = @itemName;
while ( $c =~ m!<span class= "price[^>].*?</span>!g) {
   push @price,$&;
}
my $name;
my $price;
foreach $i(@itemName) {
        encode( "utf-8" , $i);
        $i=~s/<span class= "itemName" >//;
        $i=~s/<\/span>//;
        $name=$i=~s/\[Women\]&nbsp;//;
        $name=$i;
}
foreach $p(@price) {
        encode( "utf-8" , $p);
        $p=~s/<span class= "price" >//;
        $p=~s/<\/span>//;
        $price=$p;
}

my ($xml,$output);
$xml = new XML::Generator ( 'conformance' => 'strict' ,
   'escape' => 'always' ,
   'pretty' => 2 );
$output=$xml->products($xml->name($name),$xml->price($price));
#encode("utf-8", $output);
#print $xml->xmldecl, $output;
open(FILE, ">c://products.xml" )||die "cannot   open   file\n " ;
print FILE  $output;
close FILE;

 

 

项目需求：

Time To Complete: 2 days

<!-- [if !supportLists]-->1.       <!-- [endif]-->建立网络爬虫，每天定时抓取页面信息，产生一个 XML 文件

<!-- [if !supportLists]-->2.       <!-- [endif]-->XML 文件包括以下内容：
- 产品名称

- 产品价格

- 产品描述

- 产品编号（ ID ）

- 产品最后更新时间

- 爬虫抓取时间

3. 建立配置文件，可以设置抓取的 URL 和抓取时间

4. 建立错误日志，记录抓取错误的具体内容（网站，产品，时间，错误原因等）

 

其他考量：

<!-- [if !supportLists]-->1.       <!-- [endif]-->对系统资源的消耗

<!-- [if !supportLists]-->2.       <!-- [endif]-->爬虫效率

<!-- [if !supportLists]-->3.       <!-- [endif]-->扩展性 （应该做成模块性，以后项目可以利用此模块）

 

 

抓取页面列表：

1 、（化妆品）

http://www.dhc.co.jp/main/main.jsp

2 、（电器）

http://www.asahi.com/shopping/electric_av/

 

 

 

评论

2 楼 kankan1218 2010-10-08  

lourazoe 写道

試了很久，但總是出現以下訊息

Can't locate HTML/FormatText/WithLink.pm in @INC(@INC contains:C/Perl/site/lib C:/Perl/lib.)at products.pl line 5.
BEGIN failed--compilation aborted at products.pl line 5.

你没有安装 HTML::FormatText::WithLinks这个模块。安装此模块或者你把use  HTML::FormatText::WithLinks这句话删除。

1 楼 lourazoe 2010-10-05  

試了很久，但總是出現以下訊息

Can't locate HTML/FormatText/WithLink.pm in @INC(@INC contains:C/Perl/site/lib C:/Perl/lib.)at products.pl line 5.
BEGIN failed--compilation aborted at products.pl line 5.