`
feipigwang
  • 浏览: 783920 次
  • 性别: Icon_minigender_2
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

使用HttpWebRequest访问网页及获取数据

 
阅读更多

使用HttpWebRequest访问网页及获取数据,伪代码如下:

//第一步:创建客户端
string site = "http://域名/ts.req?type=0";
HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(site);
httpWebRequest.Method = "POST";
httpWebRequest.Timeout = 10;
httpWebRequest.ContentType = "application/x-www-form-urlencoded";
Stream newStream = httpWebRequest.GetRequestStream();

//第二步将要传递数据定义形成数据流
string postData = "<?xml version=/"1.0/" encoding=/"UTF-8/" ?>/n"
+ "<seegle>/n"
+ "<tsauth>/n"
+ "<user>" + "你的用户ID" + "</user>/n"
+ "<pass>" + "你指定的密码" + "</pass>/n"//可以是固定值或仍使用用户ID
+ "</tsauth>/n"
+ "</seegle>";
ASCIIEncoding encoding = new ASCIIEncoding();
byte[] inBuf = encoding.GetBytes(postData);
//将数据流写入
newStream.Write(inBuf, 0, inBuf.Length);
newStream.Close();
//第三步获取返回信息
HttpWebResponse httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();
System.IO.Stream receiveStream = httpWebResponse.GetResponseStream();
StreamReader readStream = new StreamReader(receiveStream, Encoding.UTF8);
//通过readStream可以获得返回数据
string getData = readStream.ReadToEnd();
//如:<?xml version="1.0" encoding="UTF-8" ?>
//<seegle>
// <seq>xxxxxxxxxxxxxxxxxxxxxxxxx</seq>
// <tsauth>
// <ret>返回码</ret>
// <msg>返回码对应信息</msg>
// </tsauth>
//</seegle>
//获取seq部分
int p = getData.IndexOf("<seq>");
string seq = "";
if (p > 0)
{
seq = getData.Substring(p, getData.IndexOf("</seq>") - p);
}
//增加会议数据
postData = "略";
//获取数据(不能确定是否正确,不行就仿照上面第三步)
readStream = new StreamReader(receiveStream, Encoding.UTF8);
getData = readStream.ReadToEnd();
//判断是否正确,略

分享到:
评论

相关推荐

    使用HttpWebRequest发送自定义POST请求

    综上所述,使用`HttpWebRequest`发送自定义POST请求涉及多个关键步骤,包括创建请求对象、配置请求细节、写入POST数据以及读取响应。掌握这些细节对于任何希望在C#中实现网络交互的开发者来说都是至关重要的技能。

    网页数据抓取工具,ajax异步数据获取,模拟访问网页提取内容

    网页数据抓取是互联网时代获取信息的重要手段,它允许我们自动化地从网页中提取大量有用的数据,例如新闻、产品信息、用户评论等。在标题提到的"网页数据抓取工具"中,C#语言被用来开发这样的工具,这表明我们可以...

    C#中HttpWebRequest、WebClient、HttpClient的使用详解

    HttpWebRequest: 命名空间: System.Net,这是.NET创建者...HttpWebRequest通常和WebResponse一起使用,一个发送请求,一个获取数据。HttpWebRquest更为底层一些,能够对整个访问过程有个直观的认识,但同时也更加复

    C# WebBrowser获取网站数据

    近期有工作任务,要获取一个目标网页的数据,然后写了下爬虫,使用了HttpWebRequest和WebClient发现都报429错误,后面采用WebBrowser伪装成浏览器访问,绕过了对方的反爬虫程序,另外目标网页还有一些比较棘手的反...

    C#通过SOAP使用HttpWebRequest调用带有身份验证的WebService示例

    本示例使用C#构造SOAP信息,通过HttpWebRequest调用java编写的带有Windows身份验证的WebService,代码中详细注释了每行代码的功能与作用; 对应文章:http://blog.csdn.net/cgs_______/article/details/77894599

    Asp.Net使用HttpWebRequest跨域上传

    这是浏览器为了保护用户安全而设置的一种机制,不允许脚本从不同的源获取或发送数据。然而,为了支持跨域通信,Web API和Web应用通常会采用CORS(Cross-Origin Resource Sharing)策略,这是一种允许服务器指定哪些...

    ASP.NET使用HttpWebRequest读取远程网页源代码

    需要注意的是,虽然使用程序读取网页内容有其合理性,但在进行这一操作时必须遵守相关网站的robots.txt文件规定以及相关法律法规,以免侵犯网站的版权或进行非法的数据抓取。同时,频繁的请求可能会对目标服务器造成...

    c# HttpWebRequest的一个Demo

    在给定的示例中,“BaiDuEnglishWords.rar”可能是一个包含与百度翻译相关的词汇数据的压缩文件,而“16天记住7000考研英语单词升级版.txt”可能是学习资料,与使用`HttpWebRequest`访问网页的直接关系不大,但你...

    HttpWebRequest C# WEBAPI 测试案例

    可以使用`GetRequestStream()`获取一个流来写入数据,如下所示: ```csharp byte[] data = Encoding.UTF8.GetBytes(jsonData); request.ContentLength = data.Length; using (Stream stream = request....

    .net模拟登录博客园,使用httpWebRequest登录并发布随笔文章

    总结,使用.NET的`HttpWebRequest`模拟登录博客园并发布文章,需要理解HTTP请求的工作机制,能够解析HTML文档获取表单数据,以及正确处理登录状态和Cookie。通过以上步骤,你可以编写出自己的自动化工具,实现与...

    httpwebrequest工具类

    在本篇文章中,我们将深入探讨HTTPWebRequest类的使用方法及其在网页抓取中的应用。 一、HTTPWebRequest的基本用法 1. 创建实例: 首先,我们需要创建一个HTTPWebRequest的实例,通过HttpWebRequest.Create方法...

    C#代码直接显示网页,能够读取网页内容!

    8. **权限和跨域**:如果需要从其他域名获取数据,可能需要处理跨域问题。对于服务器端,可以通过设置`Access-Control-Allow-Origin`响应头来允许特定的跨域请求。对于客户端,C#应用本身不受同源策略限制,但若使用...

    HttpWebRequest爬虫

    - 使用HttpWebRequest的GetResponse方法,我们可以获取服务器的响应,这通常是一个HttpWebResponse对象,包含了服务器返回的数据。 2. **创建爬虫的基本步骤** - **初始化HttpWebRequest**:首先,我们需要创建一...

    c#网页信息获取程序

    本项目"**c#网页信息获取程序**"聚焦于使用C#进行网络数据抓取,这是一种常见的任务,特别是在数据分析、网站监控和内容爬虫等场景。下面将详细介绍这个程序的工作原理和涉及的技术知识点。 首先,我们要理解网页...

    C#获取网页标题信息

    在本文中,我们将深入探讨如何使用C#编程语言来获取网页的标题信息。这个过程涉及到网络编程和HTML解析,是Web开发中一个基础且实用的技能。C#提供了丰富的类库,如`System.Net`和`System.Text.RegularExpressions`...

    利用httpWebRequest模拟登陆

    在IT行业中,网络请求是应用程序与服务器交互的基础。当我们需要模拟用户登录,特别是在自动...在实际开发中,如果需要从某个网站获取家庭消费数据,模拟登录后可能可以访问到用户的消费记录,从而实现数据抓取或分析。

    C#正则表达式提取网页数据

    在C#中,可以使用`System.Net`命名空间的`HttpWebRequest`和`HttpWebResponse`类来发送HTTP请求并获取响应。一旦获取了HTML源代码,就可以使用正则表达式来解析和提取所需的数据。 三、HTML解析 HTML文档结构复杂,...

    中国天气网获取天气数据

    在中国天气网获取天气数据是一项常见...同时,随着技术的发展,可能有新的库和框架能更方便地完成这一任务,如使用现代的HttpClient类替代HttpWebRequest,或是使用更强大的序列化库如Newtonsoft.Json来解析JSON数据。

    根据网络IP获取客户端的经纬度

    由于同源策略的限制,客户端无法直接访问服务端的资源,需要使用 AJAX 跨域访问来实现数据交互。AJAX 跨域访问需要在服务端设置合适的 HTTP 头信息,以便客户端可以正确地接收到返回的数据。 服务端代码 服务端...

    C#获取目标网址http头信息,比如状态码等等信息

    本文将深入探讨如何在C#中获取这些关键数据。 首先,我们需要了解HTTP头的基本结构。HTTP头由一系列键值对组成,其中包含了服务器与客户端之间交互的信息。状态码是HTTP头的一个关键组成部分,它以三位数字表示请求...

Global site tag (gtag.js) - Google Analytics