在网上找了一下资料,用WebService进行大量数据传送的人并不多,主要原因是因为传送速度慢,因为WebService是以XML文件流的方式来传送的,写过XML的人都知道,XML中会有很多冗余的内容,比说字段名,他是每一行就要写一次,如果有约束,还要附加很多描述语句,而且从WebService返回数据时,还要进行64位编码,所以用WebService进行通迅效率很低.找了好久终于找到了一位高手的文章,原来WebService可以通过三步瘦身,但他用的方法是VS2003+wse2.0,而我用的是Vs2008+Wse3.0写法有所不同,于是写下此日志,帮助自己记录,也希望帮到有相关需求的人.
正文:
- 将DataSet设置为用于远程传送的精简二进制模式
- 用压缩程序对数据进行压缩(此处使用微软提供的ICSharpCode.SharpZipLib.dll)
- 使用WSE3.0的MTOM技术优化SOAP.
WSE3.0配置:
安装完WSE3.0后,你会发现安装目录下会有一个WebService3.dll,要将其引入到WebService项目中(不能像VS2005中可以直接创建一个WSE3.0的项目),然后要配置Web.config,置于具体的配置写法可以用Wse3.0安装目录下的WseConfigEditor3.exe进行配置,例如要开通MTOM,则先在General页中勾选Enable this project for Web Service Enhancements,再在Messaging页中Client Mode选择on 然后关闭程序,会提示生成配置文件,打开文件,将相关项目填回Web.config中就可以使用了.
具体Web.config内容如下
具体代码:
一.压缩类:
- using System;
- using System.IO;
- using System.Text;
- using ICSharpCode.SharpZipLib.Zip.Compression;
- using ICSharpCode.SharpZipLib.Zip.Compression.Streams;
- namespace ClassLb1
- {
- /// <summary>
- /// 压缩强度。
- /// </summary>
- public enum CompressionLevel
- {
- /// <summary>
- /// 采用最好的压缩率。
- /// </summary>
- BestCompression,
- /// <summary>
- /// 采用默认的压缩率。
- /// </summary>
- DefaultCompression,
- /// <summary>
- /// 采用最快的压缩速度。
- /// </summary>
- BestSpeed,
- /// <summary>
- /// 不采用任何压缩。
- /// </summary>
- NoCompression
- }
- /// <summary>
- /// CompressionHelper 的摘要说明。
- /// </summary>
- public class CompressionHelper
- {
- /// <summary>
- /// 获取和设置压缩强度。
- /// </summary>
- public CompressionLevel Level;
- public CompressionHelper()
- {
- Level = CompressionLevel.DefaultCompression;
- }
- public CompressionHelper(CompressionLevel level)
- {
- Level = level;
- }
- #region Public Methods
- /// <summary>
- /// 从原始字节数组生成已压缩的字节数组。
- /// </summary>
- /// <param name="bytesToCompress">原始字节数组。</param>
- /// <returns>返回已压缩的字节数组</returns>
- public byte[] CompressToBytes(byte[] bytesToCompress)
- {
- MemoryStream ms = new MemoryStream();
- Stream s = GetOutputStream(ms);
- s.Write(bytesToCompress, 0, bytesToCompress.Length);
- s.Close();
- return ms.ToArray();
- }
- /// <summary>
- /// 从已压缩的字节数组生成原始字节数组。
- /// </summary>
- /// <param name="bytesToDecompress">已压缩的字节数组。</param>
- /// <returns>返回原始字节数组。</returns>
- public byte[] DecompressToBytes(byte[] bytesToDecompress)
- {
- byte[] writeData = new byte[4096]; //设置缓冲区
- Stream s2 = GetInputStream(new MemoryStream(bytesToDecompress)); //解压缩数组
- MemoryStream outStream = new MemoryStream(); //由于Stream类型不能直接转换为byte[]只能通过MemoryStream做中间变换
- while (true) //循环读取数据流到outStream,直至读取完毕
- {
- int size = s2.Read(writeData, 0, writeData.Length);
- if (size > 0)
- {
- outStream.Write(writeData, 0, size);
- }
- else
- {
- break;
- }
- }
- s2.Close();
- byte[] outArr = outStream.ToArray();
- outStream.Close();
- return outArr;
- }
- #endregion
- #region Private Methods
- /// <summary>
- /// 根据压缩强度返回使用了不用压缩算法的 Deflate 对象。
- /// </summary>
- /// <param name="level">压缩强度。</param>
- /// <returns>返回使用了不用压缩算法的 Deflate 对象。</returns>
- private Deflater GetDeflater(CompressionLevel level)
- {
- switch (level)
- {
- case CompressionLevel.DefaultCompression:
- return new Deflater(Deflater.DEFAULT_COMPRESSION);
- case CompressionLevel.BestCompression:
- return new Deflater(Deflater.BEST_COMPRESSION);
- case CompressionLevel.BestSpeed:
- return new Deflater(Deflater.BEST_SPEED);
- case CompressionLevel.NoCompression:
- return new Deflater(Deflater.NO_COMPRESSION);
- default:
- return new Deflater(Deflater.DEFAULT_COMPRESSION);
- }
- }
- /// <summary>
- /// 从给定的流生成压缩输出流。
- /// </summary>
- /// <param name="inputStream">原始流。</param>
- /// <returns>返回压缩输出流。</returns>
- private DeflaterOutputStream GetOutputStream(Stream inputStream)
- {
- return new DeflaterOutputStream(inputStream, GetDeflater(Level));
- }
- /// <summary>
- /// 从给定的流生成压缩输入流。
- /// </summary>
- /// <param name="inputStream">原始流。</param>
- /// <returns>返回压缩输入流。</returns>
- private InflaterInputStream GetInputStream(Stream inputStream)
- {
- return new InflaterInputStream(inputStream);
- }
- #endregion
- }
- }
二.客户端:
- Thread thread1;
- private void button1_Click(object sender, EventArgs e)
- {
- //try
- //{
- label1.Text = "整理数据......";
- thread1 = new Thread(new ThreadStart(UpLoad));
- thread1.Start();
- //}
- //catch (Exception e1)
- //{
- // MessageBox.Show("上传数据失败!错误代码如下:/r/n" + e1.ToString());
- //}
- }
- /// <summary>
- /// 上传数据
- /// </summary>
- private void UpLoad()
- {
- int LinLimit = 10;
- string ZDDB1 = "ZD";
- string Prsta = AppDomain.CurrentDomain.SetupInformation.ApplicationBase;
- //Prsta = Prsta.Substring(0, Prsta.LastIndexOf("//", Prsta.Length - 2)); //截取Prsta的路径
- SqlConn sqlConn = new SqlConn();
- SqlConnection Conn2 = sqlConn.Sqlc2(Prsta, ZDDB1);
- Conn2.Open();
- string sqlse1 = "select top 100 * from SqlLogOut";
- SqlDataAdapter sqlDa = new SqlDataAdapter(sqlse1, Conn2);
- SqlCommandBuilder scb = new SqlCommandBuilder(sqlDa);
- DataSet Ds = new DataSet();
- sqlDa.Fill(Ds, "SqlLogOut");
- label1.Text = "共有" + Ds.Tables[0].Rows.Count.ToString() + "条记录 开始上传..........";
- int Loop1 = Ds.Tables[0].Rows.Count / LinLimit; //分包数
- if (Ds.Tables[0].Rows.Count % LinLimit > 0)
- Loop1++;
- for (int i = 1; i <= Loop1; i++)
- {
- DataSet DsPack = PackDs(Ds, LinLimit);
- DsPack.RemotingFormat = SerializationFormat.Binary; //将DS设置为用于远程序传送的精简二进制模式
- BinaryFormatter BinForm = new BinaryFormatter();
- MemoryStream ms = new MemoryStream();
- BinForm.Serialize(ms, DsPack);
- byte[] buffer = ms.ToArray();
- byte[] byUpload = new CompressionHelper(CompressionLevel.BestSpeed).CompressToBytes(buffer); //将byte数组再进行加压
- localhost.DataTransport daTr = new DataTransport.localhost.DataTransport();
- string Res = daTr.DataUpload(byUpload);
- if (Res == "#1")
- {
- progressBar1.Value =Convert.ToInt16( Convert.ToDouble(i) / Loop1 * 100);
- sqlDa.Update(Ds, "SqlLogOut"); //删除数据库上对应记录
- }
- }
- label1.Text = "上传完成.";
- Conn2.Close();
- thread1.Abort();
- }
三.WebService
- public string DataUpload(byte[] byUpload,string UpBm)
- {
- try
- {
- byte[] byData = new CompressionHelper().DecompressToBytes(byUpload);
- BinaryFormatter binForm = new BinaryFormatter();
- DataSet dsUpload = binForm.Deserialize(new MemoryStream(byData)) as DataSet;
- Bz1= "#1";
- }
- catch (Exception e1)
- {
- Bz1 = e1.Message.ToString();
- }
- return Bz1;
- }
经此方法可以将原数据量大大压缩2/3以上,只是原来的1/3左右
相关推荐
5. **WebService在NET中的应用(五).ppt**:这是一个PowerPoint演示文稿,详细讲解了WebService在.NET环境中的第五部分应用,可能包括高级主题,如错误处理、安全性和性能优化。 6. **WebService动态调用.vsd**:这...
标题"Log4net在WebService中的应用实例"指出,我们要讨论的是如何在基于C#的Web服务(WebService)中利用Log4net这个日志记录框架。Log4net是Apache软件基金会的Jakarta项目的一部分,它提供了一个灵活且可扩展的...
- 为了性能优化,考虑使用缓存或批量发送策略。 通过以上步骤,你可以成功地在.NET应用程序中调用一个短信服务的WebService接口。理解这些基本概念和操作,将有助于你实现更多类似的集成任务。
- 这个PPT可能详细介绍了WebService在.NET中的实战应用,包括但不限于:如何创建和部署WebService,如何使用.NET客户端调用,以及可能涉及的错误处理和性能优化。 7. **Sql.sql** - 可能包含SQL脚本,用于在...
【ASP·NET与WebService实例剖析中文版】 ASP·NET是微软公司推出的一种基于.NET Framework的服务器端编程模型,主要用于构建动态、数据驱动的Web应用程序。它提供了丰富的开发工具和库,使得开发者能够用C#、VB...
对于RESTful Webservice,可以使用C++库如cpprestsdk(原Casablanca)或Poco库的NetSSL模块。 5. **WebServer文件分析** 压缩包中的"WebServer"可能是一个简单的C++ Web服务器示例,用于演示如何接收和响应HTTP...
在实际开发中,这样的工具对于快速验证Web服务的正确性、调试服务端问题以及优化客户端调用策略都极其有用。对于C#开发者来说,掌握如何有效地利用这样的工具可以显著提高工作效率,减少因网络通信问题引起的调试...
标题中的“基于.NET和WebService的天气预报”指的是一项利用微软的.NET框架和WebService技术来获取及展示天气预报...对于有经验的开发者,这个项目也可以作为参考,了解如何优化WebService调用和处理返回数据的流程。
3. PowerPoint演示:"WebService在NET中的应用(二).ppt"可能是对WebService性能优化的深入讲解,可能包括: - WSDL优化:精简Web服务描述语言(WSDL)文件,减少客户端解析时间。 - 错误处理:有效处理异常,避免...
6. **示例与演示**:教程附带的“WebService在NET中的应用(三).ppt”提供了详细的步骤说明和理论解释,而“WebService异步示意图.jpg”和“WebService异步示意图.vsd”是辅助理解异步调用流程的图表,帮助读者更好地...
本文将深入探讨如何在.NET中修改Web Service的WSDL标签名称,以满足特定的需求或优化服务的可读性和可维护性。 首先,WSDL文件是XML格式的,包含了Web服务的端点地址、操作方法、输入和输出消息等信息。在.NET中,...
在这个用例中,我们将探讨如何使微信小程序与.NET开发的Webservice进行数据交互。 首先,我们需要了解微信小程序的基本结构。微信小程序由JSON配置文件(app.json)、页面配置文件(page.json)、WXML(微信小程序...
WebService在.NET中的实战应用主要涉及两个关键点:创建和调用Web服务,以及优化Web服务的性能。在.NET框架中,WebService是一种基于HTTP协议的、轻量级的、跨平台的通信方式,允许不同系统间的数据交换。 首先,...
- `WebService在NET中的应用(二).ppt` 可能是一个关于WebService实战的PPT教程,详细讲解了如何在.NET中实现和使用WebService。 - `DataSetSurrogate.dll` 可能是一个用于优化DataSet序列化的组件,帮助提高数据传输...
最后,压缩包中的"点Net与WebService例子"可能包含了一个实际的项目示例,这将帮助开发者更直观地了解如何将理论知识应用到实践中。通过研究这个示例,可以学习到如何创建Web服务、如何在.NET环境中调用Web服务,...
在Node.js应用中,数据中间层通常负责处理HTTP请求,并通过SQL接口与后端数据库如MySQL、HBase或WebService交互。例如,下面这段SQL查询语句展示了如何从两个表中获取数据: ```sql SELECT r.query, search_num, s....
4. **ASP.NET WebService实例**:文件名中的“asp_net web service实例,Asp_net实例教程,Asp_net系列教程,Asp_net.htm”表明有具体的步骤和指导,帮助初学者了解如何创建、部署和测试ASP.NET WebService。...
7. **监控和日志记录**:通过集成日志记录库,如log4net,Nelibur可以帮助开发者跟踪服务运行状态,进行性能优化和问题排查。 8. **高性能和可扩展性**:Nelibur设计时考虑了性能优化,避免了不必要的性能开销,...
在IT领域,异步编程是一种常见的优化性能的技术,特别是在处理耗时操作如网络通信时,如调用Web Service。Web Service是一种基于XML的接口,允许应用程序通过HTTP协议进行通信,实现跨平台的数据交换。本篇将详细...
这个场景通常出现在需要处理中文字符并将其转换为拼音的软件应用中,例如搜索引擎优化、语音识别或自动文本处理。下面我们将详细探讨这两个主要知识点。 首先,我们要理解汉字转拼音的过程。在C#中,可以借助.NET...