ASP.NET抓取网页内容-文字
ASP.NET抓取网页内容-图片
ASP.NET抓取网页内容-Post数据
ASP.NET抓取网页内容-防止重定向
ASP.NET抓取网页内容-保持登录状态
ASP.NET抓取网页内容-把当前会话带到WebRequest中
ASP.NET中抓取网页内容是非常方便的,而其中更是解决了ASP中困扰我们的编码问题。
需要三个类:WebRequest、WebResponse、StreamReader。
WebRequest、WebResponse的名称空间是:
System.Net
StreamReader的名称空间是:
System.IO
核心代码
WebRequest request = WebRequest.Create("http://www.cftea.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
WebRequest类的Create为静态方法,参数为要抓取的网页的网址;
Encoding指定编码,Encoding中有属性ASCII、UTF32、UTF8等全球通用的编码,但没有gb2312这个编码属性,所以我们使用GetEncoding获得gb2312编码。
示例
<%@ Page Language="C#" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<script runat="server">
void Page_Load(object sender, EventArgs e)
{
try
{
WebRequest request = WebRequest.Create("http://www.cftea.com/");
WebResponse response = request.GetResponse();
StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));
tb.Text = reader.ReadToEnd();
reader.Close();
reader.Dispose();
response.Close();
}
catch (Exception ex)
{
tb.Text = ex.Message;
}
}
</script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>抓取网页内容-千一网络</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox>
</div>
</form>
</body>
</html>
相关阅读
如何用Encoding指定编码
在ASP.NET中发送邮件(带SMTP验证、带附件)
ASP “小偷”程序
WebRequest发送Cookie、Referer
分享到:
相关推荐
在Asp.net中实现简单的文字水印是一项常见的需求,尤其在图像处理和版权保护领域。Asp.net是一个强大的Web应用程序框架,由微软开发,用于构建动态网站、Web应用和服务。以下将详细介绍如何利用Asp.net来实现这个...
在某些应用场景下,例如数据抓取、接口调用等,可能需要在ASP.NET应用中模拟登录到其他网站的操作。当目标网站带有验证码时,这一过程将变得更加复杂。本文将详细探讨如何在ASP.NET后台环境下实现对其他网站的模拟...
7. **SEO友好**:优化了URL结构和网页元信息,有利于搜索引擎的抓取和排名。 通过这个名为"ASP.NET-[其他类别]PHPWind Forums 7.0 UTF-8 正式版 Build20090116_phpwind_utf8_7.0.rar"的压缩包,用户可以获取到...
### ASP.NET生成静态页面方法大全(五种方案对比) #### 方案一:通过URL抓取内容并转换为静态页面 本方案主要通过调用`getUrltoHtml`函数来实现从指定URL获取HTML代码,并将其保存为静态HTML文件。具体步骤包括...
内容索引:.NET源码,上传下载,图片上传,水印,生成缩略图 图片上传:生成缩略图,并加文字水印或图片水印,远程图片抓取(保存到本地)支持jpg、gif、bmp、png等,将抓取的图片以日期+原名称命名并保存,支持Html输入...
ASP.NET提供了丰富的控件、事件模型和自动状态管理,使得开发者可以更高效地构建网页应用。在这个场景中,动网新闻.Net v3.0就是使用ASP.NET技术构建的新闻发布和管理平台。 【压缩包子文件的文件名称列表】中的...
‘用ASP获取远程目标网页指定内容,代码由广州网站建设//www.jb51.net提供 On Error Resume Next Server.ScriptTimeOut=9999999 Function getHTTPPage(Path) t = GetBody(Path) getHTTPPage=BytesToBstr(t,”GB2312...
ASP.NET点选验证码是一种用于网站安全验证的机制,它的实现主要目的是为了防止自动化脚本或机器人进行恶意操作,如注册、登录等。本文将分享如何在ASP.NET中创建点选验证码的实现思路,并提供一个DEMO供参考。 首先...
传统的ASP.NET动态网页URL通常包含诸如"?id=123"这样的参数,这在用户看来不够友好,也不利于搜索引擎爬取。通过伪静态技术,我们可以将动态URL转化为类似"http://example.com/article/123.html"这样的静态URL形式,...
综上所述,JavaScript截屏技术结合ASP.NET服务器端可以实现高效且灵活的网页截图功能。开发者可以通过JavaScript处理前端逻辑,如用户交互和截图生成,然后通过Ajax调用ASP.NET接口将截图发送到服务器,实现截图的...
### ASP.NET常用正则表达式知识点详解 #### 1. 匹配中文字符的正则表达式:[\u4e00-\u9fa5] **应用场景:** 在开发过程中,经常会遇到需要验证输入是否为中文字符的情况。该正则表达式能够帮助我们识别并匹配所有...
在ASP.NET中,我们可以使用HtmlAgilityPack或ScrapySharp等库来解析HTML文档,抓取网页中的链接,特别是图片URL。爬虫会遍历整个网站,遵循其内部链接,下载每个页面上的所有图片。为了提高效率和避免对目标网站造成...
3. **表单验证**:ASP.Net提供内置的表单验证控件,用于确保用户输入的数据符合预期格式,如检查邮箱地址的有效性或限制文字长度。 4. **模板和CSS样式**:为了提供友好的用户界面,系统可能采用了自定义的HTML模板...
在一些抓取、过滤等情况下, 正则表达式 regular expression 的优势是很明显的。 例如,有如下的字符串: 代码如下:<li><a>”article-date”>[09/11]</span>FCKEditor高亮代码插件测试</a></li> 现在,需要提取 href...
ASPX版的问问小偷程序是一种基于ASP.NET技术构建的网站内容管理系统,它可以抓取互联网上的信息,如问答类网站的数据,然后在自己的站点上展示。这种程序的主要功能是快速填充网站内容,提高搜索引擎排名,吸引用户...
在这个ASP程序中,爬虫部分可能负责抓取动漫、漫画网站的数据,如图片、文字描述、作者信息等。爬虫的实现通常包括以下步骤: 1. 发送HTTP请求:使用HTTP协议向目标网站发送GET或POST请求。 2. 解析HTML响应:接收...
【AfengPager通用URL分页源码及Demo】是一个针对网页分页功能的开源解决方案,主要面向.NET开发者,尤其适用于ASP.NET平台。该资源包含了完整的源代码和一个演示项目,帮助开发者理解和应用URL分页技术。 分页是...
供Asp.Net直接调用的包装类(WebPreview.cs) 计算机重启、关电源、注销、关闭显示器辅助类(WindowsExitHelper.cs) ----------NONONONO-------------- 全局统一的缓存类(Cache.cs) 常用显示日期时间、农历、生肖的...