`
javatar
  • 浏览: 1704758 次
  • 性别: Icon_minigender_1
  • 来自: 杭州699号
社区版块
存档分类
最新评论

dotNet抓取页面

    博客分类:
  • .Net
阅读更多
上一次有个功能,需要Hompy客户抓取minihome的一个页面。
他们居然说实现不了,晕倒,没办法,只好用.Net写了个demo,
好久没写.Net了,也算温习一下。
很简单的东东,留个记念
using System.Net;
using System.IO;
using System.Text;


    protected void Button1_Click(object sender, EventArgs e)
    {
        String url = this.TextBox1.Text; // eg: http://minihome.sanook.com/minihompy/front/index.html
        HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(url);
        httpWebRequest.Method = "GET";
        HttpWebResponse httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();
        if (((int)httpWebResponse.StatusCode) >= 400)
        {
            // error ...
            return;
        }
        Stream responseStream = httpWebResponse.GetResponseStream();
        StreamReader streamReader = new StreamReader(responseStream, Encoding.UTF8);
        String result = streamReader.ReadToEnd().Trim();
        httpWebResponse.Close();
        streamReader.Close();

        // using result....
        this.TextBox2.Text = result;
       
    }


分享到:
评论

相关推荐

    dotNET CMS_C#门户网站cms程序.rar

    5. SEO优化:系统支持自定义元标签,便于搜索引擎抓取,提升网站在搜索结果中的排名。 四、开发与部署 dotNET CMS提供的源代码允许开发者根据项目需求进行二次开发。在部署过程中,需确保服务器已安装.NET ...

    dotnet-叶子浏览器基于Cef访问网页时自动抓取结构化xhr数据

    标题中的“dotnet-叶子浏览器基于Cef访问网页时自动抓取结构化xhr数据”指出,这个项目是一个使用.NET框架开发的浏览器应用,名为“叶子浏览器”。它利用了Chromium Embedded Framework (Cef) 技术,实现了对网页的...

    dotnet core利用AngelSharp抓取emoji字符串,并保存json文件

    要对emoji进行分类,你需要根据emoji的特性或页面结构来确定分类规则。例如,如果emoji被分组在不同的类别下,可以通过解析每个类别容器的HTML来实现。假设类别由`<div class="category">`表示,我们可以这样做: ...

    dotnet-CrawlerEngine爬虫框架

    dotnet-CrawlerEngine通过分析网页上的链接,可以自动跟踪和抓取相关页面,形成一个广度优先或深度优先的爬取策略。 5. **数据存储和处理**:抓取到的数据通常需要进行存储和进一步处理。dotnet-CrawlerEngine可能...

    DotNet通用类库大全

    ----------Database-------------- ...Web页面预览效果图片抓取辅助类(WebPageCapture.cs) 供Asp.Net直接调用的包装类(WebPreview.cs) 计算机重启、关电源、注销、关闭显示器辅助类(WindowsExitHelper.cs)

    dotnet-NET平台下一个高效的从Html中提取正文的工具

    例如,当从网页抓取数据并存储到数据库时,ORM框架可以简化数据访问层的代码,提高开发效率。 在实际应用中,开发者可以利用这个工具来构建一个Web爬虫系统,首先使用HttpClient或类似库获取网页内容,然后通过该...

    dotnet-Spider自定义可扩展爬虫

    2. **网络爬虫基础**:爬虫是自动化抓取网页信息的程序,主要步骤包括URL管理、页面下载、HTML解析、数据提取和存储。理解HTTP协议,如状态码、请求头和响应头,对于编写爬虫至关重要。 3. **自定义与扩展**:一个...

    DotNet公用类(超多附文档)

    21.Web页面预览效果图片抓取辅助类(WebPageCapture.cs) 22.供Asp.Net直接调用的包装类(WebPreview.cs) 23.计算机重启、关电源、注销、关闭显示器辅助类(WindowsExitHelper.cs) ----------NONONONO-------------- ...

    UrlRewriter .NET_dotnet整站程序.rar

    在ASP.NET应用中,URL重写是一个常用的技术,用于将复杂的、包含参数的URL转换为简洁、有意义的URL,从而提升用户体验和搜索引擎的抓取效率。 该压缩包文件"UrlRewriter .NET_dotnet整站程序.rar"包含了UrlRewriter...

    dotnet-PdfPig从C中读取PDF中的文本内容PdfBox的移植

    标题中的“dotnet-PdfPig从C中读取PDF中的文本内容PdfBox的移植”表明这是一个关于.NET框架下的PDF处理库PdfPig的使用教程,特别提到了它是PdfBox的一个移植版本。PdfBox是Java平台上用于处理PDF文档的开源库,而...

    计算机资源网源码(图书销售类)_dotnet电子商务系统源代码.rar

    它提供了诸如页面生命周期管理、数据绑定、控件模型等功能,使得开发者能够快速构建交互性强的Web应用。 3. **数据库交互**:图书销售系统通常需要与数据库进行交互,存储和检索商品信息、用户信息、订单状态等。...

    总结:首席执行官,雅虎财务以及最终股票交易所的对话式抓取工具

    报废首席执行官,雅虎财务以及最终股票交易所的对话式抓取工具由于我一直善于跟上ceo.ca对话,因此我将使初始软件包仅扫描yahoo财务页面。 dotnet new console -o ConScrap.Cmddotnet new classlib -o ConScrap....

    HistoryNET:应用程序从Wikipedia抓取有关一年中所有重要事件的数据,以及从数据库中获取数据的API

    有关端点的信息可以在招摇页面中找到。 Web API是使用.NET Core编写的,使用EFCore来存储抓取的数据,并且使用Swagger是文档。 还有一个用ReactJS编写的前端部分来显示从API端点获取的数据。必须启动API才能使...

    网页转MHT

    开发者可能使用VB.NET编写了一个控制台应用或ASP.NET Web服务,它可以解析HTML源码,抓取其中的链接和图片,然后将所有内容打包成一个MHT文件。 在实际操作中,这个过程可能涉及以下步骤: 1. 解析HTML文档,获取...

    跨frame拖拽对象实现的例程

    在Web开发领域,拖放(Drag and Drop)功能是一种常见的交互设计,允许用户通过鼠标或触摸设备抓取一个元素并将其移动到其他位置。在本例程“跨frame拖拽对象实现”中,我们将深入探讨如何在不同的HTML框架(frames...

    将网页内容生成到word,可将图片生成到word

    1. **网页内容解析**:在PHP中,可以使用DOMDocument或DOMXpath类来解析HTML页面,获取网页的结构和内容。DOMDocument允许我们加载HTML文档,然后通过DOMXpath查询文档元素,如段落(p)、标题(h1-h6)等,从而提取...

    viewstate:ASP.NET视图状态解码器

    尽管ASP.NET主要用于.NET环境,Python也可以参与到处理ViewState的场景中,特别是在Web抓取(scraping)和安全分析时。Python库如`pyViewState`可以帮助解码和分析ViewState数据,这对于理解Web应用程序的行为和发现...

    c#,asp.net公共类大全

    在.NET框架中,C#和ASP.NET是两个关键的组件,用于开发高效、跨平台的Web应用程序。"C#, ASP.NET公共类大全"通常..."DotNet基础类大全"可能包含上述类的实例和使用示例,对于学习和提升C#和ASP.NET编程技能非常有帮助。

Global site tag (gtag.js) - Google Analytics