`

ASP.NET抓取网页内容-文字

阅读更多

ASP.NET抓取网页内容-文字

*ASP.NET抓取网页内容-图片

*ASP.NET抓取网页内容-Post数据

*ASP.NET抓取网页内容-防止重定向

*ASP.NET抓取网页内容-保持登录状态

*ASP.NET抓取网页内容-把当前会话带到WebRequest


ASP.NET中抓取网页内容是非常方便的,而其中更是解决了ASP中困扰我们的编码问题。

需要三个类:WebRequestWebResponseStreamReader

WebRequestWebResponse名称空间是:

System.Net

StreamReader的名称空间是:

System.IO

核心代码

WebRequest request = WebRequest.Create("http://www.cftea.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

*WebRequest类的Create为静态方法,参数为要抓取的网页的网址;

*Encoding指定编码,Encoding中有属性ASCIIUTF32UTF8等全球通用的编码,但没有gb2312这个编码属性,所以我们使用GetEncoding获得gb2312编码。

示例

<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<script runat="server">
void Page_Load(object sender, EventArgs e)
{
try
{
WebRequest request = WebRequest.Create("http://www.cftea.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

tb.Text = reader.ReadToEnd();

reader.Close();
reader.Dispose();
response.Close();
}
catch (Exception ex)
{
tb.Text = ex.Message;
}
}
</script>

<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>
抓取网页内容-千一网络</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
</div>
</form>
</body>
</html>

相关阅读

*如何用Encoding指定编码

*ASP.NET中发送邮件(带SMTP验证、带附件)

*ASP “小偷程序

*WebRequest发送CookieReferer

分享到:
评论

相关推荐

    用Asp.net实现简单的文字水印

    在Asp.net中实现简单的文字水印是一项常见的需求,尤其在图像处理和版权保护领域。Asp.net是一个强大的Web应用程序框架,由微软开发,用于构建动态网站、Web应用和服务。以下将详细介绍如何利用Asp.net来实现这个...

    asp.net后台模拟其他网站带验证码登陆

    在某些应用场景下,例如数据抓取、接口调用等,可能需要在ASP.NET应用中模拟登录到其他网站的操作。当目标网站带有验证码时,这一过程将变得更加复杂。本文将详细探讨如何在ASP.NET后台环境下实现对其他网站的模拟...

    ASP.NET-[其他类别]PHPWindForums7.0UTF-8正式版Build20090116.0.zip

    7. **SEO友好**:优化了URL结构和网页元信息,有利于搜索引擎的抓取和排名。 通过这个名为"ASP.NET-[其他类别]PHPWind Forums 7.0 UTF-8 正式版 Build20090116_phpwind_utf8_7.0.rar"的压缩包,用户可以获取到...

    ASP.NET生成静态页面方法大全(五种方案对比)

    ### ASP.NET生成静态页面方法大全(五种方案对比) #### 方案一:通过URL抓取内容并转换为静态页面 本方案主要通过调用`getUrltoHtml`函数来实现从指定URL获取HTML代码,并将其保存为静态HTML文件。具体步骤包括...

    ASP.NET图片上传,生成缩略图,加文字、图片水印

    内容索引:.NET源码,上传下载,图片上传,水印,生成缩略图 图片上传:生成缩略图,并加文字水印或图片水印,远程图片抓取(保存到本地)支持jpg、gif、bmp、png等,将抓取的图片以日期+原名称命名并保存,支持Html输入...

    动网新闻.Net v3.0繁体语言包

    ASP.NET提供了丰富的控件、事件模型和自动状态管理,使得开发者可以更高效地构建网页应用。在这个场景中,动网新闻.Net v3.0就是使用ASP.NET技术构建的新闻发布和管理平台。 【压缩包子文件的文件名称列表】中的...

    asp获取远程网页的指定内容的实现代码

    ‘用ASP获取远程目标网页指定内容,代码由广州网站建设//www.jb51.net提供 On Error Resume Next Server.ScriptTimeOut=9999999 Function getHTTPPage(Path) t = GetBody(Path) getHTTPPage=BytesToBstr(t,”GB2312...

    asp.net点选验证码实现思路分享 (附demo)

    ASP.NET点选验证码是一种用于网站安全验证的机制,它的实现主要目的是为了防止自动化脚本或机器人进行恶意操作,如注册、登录等。本文将分享如何在ASP.NET中创建点选验证码的实现思路,并提供一个DEMO供参考。 首先...

    WebSite3.zip_.net编程_ASP_

    传统的ASP.NET动态网页URL通常包含诸如"?id=123"这样的参数,这在用户看来不够友好,也不利于搜索引擎爬取。通过伪静态技术,我们可以将动态URL转化为类似"http://example.com/article/123.html"这样的静态URL形式,...

    javascript截屏代码

    综上所述,JavaScript截屏技术结合ASP.NET服务器端可以实现高效且灵活的网页截图功能。开发者可以通过JavaScript处理前端逻辑,如用户交互和截图生成,然后通过Ajax调用ASP.NET接口将截图发送到服务器,实现截图的...

    asp.net常用正则表达式

    ### ASP.NET常用正则表达式知识点详解 #### 1. 匹配中文字符的正则表达式:[\u4e00-\u9fa5] **应用场景:** 在开发过程中,经常会遇到需要验证输入是否为中文字符的情况。该正则表达式能够帮助我们识别并匹配所有...

    可以给上传图片加水印效果,同时可以自动采集网站所有图片

    在ASP.NET中,我们可以使用HtmlAgilityPack或ScrapySharp等库来解析HTML文档,抓取网页中的链接,特别是图片URL。爬虫会遍历整个网站,遵循其内部链接,下载每个页面上的所有图片。为了提高效率和避免对目标网站造成...

    蓝丽Net留言本 v1.0

    3. **表单验证**:ASP.Net提供内置的表单验证控件,用于确保用户输入的数据符合预期格式,如检查邮箱地址的有效性或限制文字长度。 4. **模板和CSS样式**:为了提供友好的用户界面,系统可能采用了自定义的HTML模板...

    正则表达式提取网址、标题、图片等一例(.Net Asp Javascript/Js)的实现

    在一些抓取、过滤等情况下, 正则表达式 regular expression 的优势是很明显的。 例如,有如下的字符串: 代码如下:&lt;li&gt;&lt;a&gt;”article-date”&gt;[09/11]&lt;/span&gt;FCKEditor高亮代码插件测试&lt;/a&gt;&lt;/li&gt; 现在,需要提取 href...

    ASPX版问问小偷程序可以放广告

    ASPX版的问问小偷程序是一种基于ASP.NET技术构建的网站内容管理系统,它可以抓取互联网上的信息,如问答类网站的数据,然后在自己的站点上展示。这种程序的主要功能是快速填充网站内容,提高搜索引擎排名,吸引用户...

    基于ASP的TLCMS 爬虫动漫漫画程序 v2022.06.10.zip

    在这个ASP程序中,爬虫部分可能负责抓取动漫、漫画网站的数据,如图片、文字描述、作者信息等。爬虫的实现通常包括以下步骤: 1. 发送HTTP请求:使用HTTP协议向目标网站发送GET或POST请求。 2. 解析HTML响应:接收...

    AfengPager通用URL分页源码及Demo

    【AfengPager通用URL分页源码及Demo】是一个针对网页分页功能的开源解决方案,主要面向.NET开发者,尤其适用于ASP.NET平台。该资源包含了完整的源代码和一个演示项目,帮助开发者理解和应用URL分页技术。 分页是...

    aspnet公共类cs文件.rar

    供Asp.Net直接调用的包装类(WebPreview.cs) 计算机重启、关电源、注销、关闭显示器辅助类(WindowsExitHelper.cs) ----------NONONONO-------------- 全局统一的缓存类(Cache.cs) 常用显示日期时间、农历、生肖的...

Global site tag (gtag.js) - Google Analytics