HttpWebRequest采集（二）-- C#解析html

上次说到了用HttpWebRequest来采集网站信息

然而对于采集下来的html源码怎么来解析呢，这个问题网上很多人都说采用正则来实现，这个的要求是高的，也会很烦锁。

 

相对于一个简单的页面来说这个方法还行，如果要采集的数据很多的话就要写N多个正则，N*M次的判断来取得自己想要的数据，这个工作量是很大的，并且对采集的功能上也会有影响。

 

有人会问有没有方法可以像解析xml那样来解析html呢，答案是肯定的。

 

在http://www.codeplex.com/ 上有一个Project名字叫

Html Agility Pack

 

 

具体的可以到Project主页去下载相关的版本，对应相应的.net framework

示例代码如下

 

     string html = WebTask.GetHtmlFromUrl(url);
      HtmlDocument doc = new HtmlDocument();
      doc.LoadHtml(html);
      Console.WriteLine(doc.DocumentNode.SelectSingleNode("/table/tr[3]/td[2]").InnerHtml);

 对于这个xpath可以使用firebug来获取，不用再这么麻烦来使用，详细可看图

 

 

当然还有一个工具TPAssistant 获取更精确，更方便

 

 

本来打算快点把post分页的也快点写出来的，结果试了几个相应的网站，成功率不是很高，代码还在优化

等完成后会尽快发出给大家分享。 

技术交流群：199703615

注明：javaeye采集。