解决HtmlAgilityPack中文乱码

Html Agility Pack是用C#写的开源Html Parser。

在抓取163首页(http://www.163.com)代码如下：

	HtmlWeb hw = new HtmlWeb();
	string url = @"http://www.163.com";
	HtmlDocument doc = hw.Load(url);
	doc.Save("mshome.htm");

不过有点问题是抓取的Code乱码了。

通过跟踪代码发现通过修改HtmlWeb.cs 中的第1466行（1.4.0.0版） 文件可以解决这个问题。

方法名为：

privateHttpStatusCodeGet(Uriuri,stringmethod,stringpath,HtmlDocumentdoc,IWebProxyproxy, ICredentialscreds)

原始实现源代码：

...
...
Encoding respenc = !string.IsNullOrEmpty(resp.ContentEncoding)
                                   ? Encoding.GetEncoding(resp.ContentEncoding)
                                   : null;
...
...

修改后的代码：

            //Encoding respenc = !string.IsNullOrEmpty(resp.ContentEncoding)
            //                       ? Encoding.GetEncoding(resp.ContentEncoding)
            //                       : null;
            //update By Glen begin
            Encoding respenc;

            if ((resp.ContentEncoding != null) && (resp.ContentEncoding.Length > 0))
            {
                respenc = System.Text.Encoding.GetEncoding(resp.ContentEncoding);
            }
            else if ((resp.CharacterSet != null) && (resp.CharacterSet.Length > 0))//根据Content-Type中获取的charset  
            {
                if (string.Compare(resp.CharacterSet, "ISO-8859-1", true, System.Globalization.CultureInfo.InvariantCulture) == 0)
                    respenc = System.Text.Encoding.GetEncoding("GB2312");
                else
                    respenc = System.Text.Encoding.GetEncoding(resp.CharacterSet);
            }
            else
            {
                respenc = System.Text.Encoding.GetEncoding("GB2312");
            }
            //update By Glen end

重新编译一下，就不会中文乱码了...

评论

1 楼 liuweihug 2014-04-08  

.Net解析html文档类库HtmlAgilityPack完整使用说明--采集软件开发尤其好用 - 项目实战 - IT工作生活这点事。Just Such So!
http://www.suchso.com/projecteactual/netpausehtmldocumentclasslibHtmlAgilityPackcaiji.html