`
cpsing
  • 浏览: 74086 次
  • 来自: ...
最近访客 更多访客>>
社区版块
存档分类
最新评论

大数据量处理

阅读更多

 看看这个,异曲同工,永远不超时

该程序是针对非常庞大的数据库开发的,没有用循环
用途:
     对过万条数据的数据库字段内容批量替换
代码:
<%
'//数据库连接
    Dim BeeYee_DbName,Connstr,Conn,intSn1
    Dim Content,Num,intSn,intIdNo,strCodea,strCodec,Rs,strSql
    Server.ScriptTimeOut = 800
    BeeYee_DbName="transfer"         '修改此处为你的SQL Server 数据库名称
    YourServer = "seven"       '修改此处为你的Sql Server数据库地址
    YourUid  = "sa"                   '修改此处为你的数据库用户名
    YourPassword = "123"           '修改此处为你的数据库密码    
    Connstr = "Driver={SQL Server};Server="&YourServer&";Uid="&YourUid&";Pwd="&YourPassword&";Database="&BeeYee_DbName
    Set Conn=Server.CreateObject("ADODB.CONNECTION")
    On Error Resume Next
    Conn.Open Connstr
    If Err<>0 Then
        err.Clear
        Set Conn = Nothing
        Response.Write "<div align=center><br/><br/><br/>连接SqlServer数据库出错,请检查相关设置……</div>"
        Response.End   
    End If
'//数据处理部分

    intSn = Request("Sn")
    intIdNo = Request("IdNo")
    If intSn = "" Or Not isNumeric(intSn) Then
        intSn = 0
        intSn1 = 0
    Else
        intSn = CLng(intSn)
        intSn1 = intSn
    End If
    If intIdNo = "" Or Not isNumeric(intIdNo) Then
        intIdNo = 0
    Else
        intIdNo = CLng(intIdNo)
    End If
    strCodea="/newe"                                    '//需要查询是否包含的字符串
    strCodeb="/news"                '//替换字符串
    strSql = "Select Top 1 Id,Content,Uptime From News where id>"&intIdNo&" And siteid=1 order by id"
    Set Rs = Server.CreateObject("adodb.recordset")
    Rs.Open strSql,conn,1,3
    If not(rs.eof oR rs.bof) then
        Content = Rs("content")
        Num = instr(content,strCodea)
        If Num>0 then           
            Content=Replace(content,strCodea,strCodeb)   
            Rs("Content") = Content
            Rs("Uptime") = now()
            Rs.Update
            intSn = intSn + 1
        End If
        intIdNo = Rs("Id")
        Rs.Close
        Set Rs = Nothing
        Response.Write("<br/><br/><br/><Div align=center>正在转换第<font color=red>"&intSn&"</font>条新闻....</Div>")
        If intSn = intSn1 Then Response.Write("<br/><br/><br/><Div align=center>新闻中没有要转换的东西,程序继续转换下一篇</Div>")
        Response.write("<meta http-equiv=""refresh"" content=""0;url=?Sn="&intSn&"&IdNo="&intIdNo&""">")
    Else
        Response.write("<br/><br/><br/><Div align=center>转换完毕!!共转换<font color=red>"&intSn&"</font>条新闻.</Div>")
        Rs.Close
        Set Rs = Nothing
        Response.End()
    End If
   
%>

另外:

可以把数据处理放在客户端



分享到:
评论

相关推荐

    大数据量处理的解决方案

    大数据量处理的解决方案主要聚焦在如何有效地管理和分析海量数据,以提供实时的商业洞察。Style Intelligence的敏捷商业智能平台在这一领域展现出了显著的优势。该平台通过创新的技术,如内存数据库、高速分布式存储...

    sqlite数据库 大数据量处理demo

    在这个“sqlite数据库大数据量处理demo”中,我们将深入探讨如何在SQLite数据库中有效地管理大规模数据。 SQLite支持SQL标准,包括创建表、插入数据、更新数据、删除数据以及查询数据等基本操作。对于大数据量的...

    经验大数据量处理及存储代码优化过程.docx

    在大数据量处理和存储的场景中,代码优化是至关重要的,尤其是在处理20W到200W级别的数据时。原始场景中,客户端上传包含手机号码的文本文件,服务端负责读取、验证和存储。问题在于后台响应缓慢,CPU长时间处于100%...

    海量 大数据量 数据 处理总结

    海量数据 大数据量 处理的算法和数据结构 对面试IT公司的人非常有用!

    经验大数据量处理及存储代码优化过程.pdf

    在处理大数据量时,优化代码至关重要,尤其是对于涉及大量数据读取、验证和存储的任务。在这个案例中,原始场景是客户端上传一个包含手机号码的文本文件,服务端接收并进行有效性验证,然后将数据存入数据库。问题...

    PHP做大数据量实时分析

    1. PHP大数据量处理能力 PHP作为一种广泛使用的服务器端脚本语言,传统上被用于网站开发和小型到中型的数据处理。然而,随着计算机硬件性能的提升和PHP语言的不断优化,PHP在处理大数据量上也有所建树。特别是在...

    使用POI导出大数据量到EXCEL

    大数据量处理时,直接一次性将所有数据写入Excel可能导致内存溢出。POI提供了一种叫做SXSSF(Streaming Usermodel API)的解决方案,它允许开发者以流式方式处理Excel数据,减少内存占用。SXSSF在内存中仅保留最近...

    基于Java的多线程大数据量导出与导入文件设计源码

    本项目是基于Java的多线程大数据量导出与导入文件设计源码,包含30个...系统专注于提供百万级大数据量处理功能,支持数据导出、数据导入和测试数据生成等功能,为用户提供了一个稳定、高效的处理大数据量的解决方案。

    内存映射文件在大数据量海洋调查数据处理中的应用.pdf

    总的来说,内存映射文件是解决大数据量处理问题的有效工具,尤其适用于需要快速访问和分析大文件的场景,如海洋调查数据的分析和计算。通过合理运用这一技术,可以降低对计算机内存的依赖,提高程序运行效率,缩短...

    mysql如何处理大数据量的查询

    在实际的任何一个系统中,查询都是必不可少的一个功能,而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标,尤其是当数据量变得越来越大时,于是如何处理大数据量的查询成了每个系统架构设计时都必须面对...

    java poi 导入大数据量Excel数据 防止内存溢出处理.zip

    然而,当处理大数据量的Excel文件时,POI可能会导致内存溢出(Out of Memory, OOM),因为默认情况下它会将整个工作簿加载到内存中。为了防止这种问题,我们需要采用优化策略来高效地处理大量数据。 1. **分块读取*...

    java多线程处理大数据

    java多线程处理大数据,可根据配置的线程数,任务去调度处理

    java导出30万数据量的excel(采用生成多个excel,最后打包zip)

    2. **大数据量处理策略**: 一次性处理30万条数据可能导致内存溢出,因此采用分块处理。将数据分为多个小块,每块生成一个Excel文件,这样可以降低内存消耗并提高处理效率。通常,块的大小根据实际内存和系统性能进行...

    常用大数据量,海量数据处理方法,算法总结

    这些方法可以用来解决大数据量的问题,例如数据字典、判重、集合求交集等问题。 Bloom Filter Bloom filter 是一种空间效率高、查询效率高的数据结构,可以用来实现数据字典、判重、集合求交集等操作。其原理是...

    java动态大数据量EXCEL下载

    首先,我们需要理解Java如何处理大数据量的EXCEL文件。传统的Java Excel库,如Apache POI,虽然功能强大,但在处理大量数据时可能会遇到性能瓶颈,因为它们会将整个Excel文件加载到内存中。为了解决这个问题,可以...

    大数据量海量数据处理.pdf

    ### 大数据量海量数据处理的关键技术与方法 在当今数字化时代,数据量的爆发式增长使得大数据处理成为了一个至关重要的领域。面对PB级甚至EB级的数据,传统的数据处理技术已无法满足需求,因此,发展出了多种高效的...

    提高WebService性能大数据量网络传输处理

    在IT行业中,尤其是在开发涉及大数据量网络传输...这种方法不仅高效,而且免费,对于处理大规模数据的Web服务是一个实用的解决方案。同时,开发者应该根据实际应用的需求和环境,进行性能测试,选择最适合的优化策略。

    Oracle 大数据量操作性能优化

    Oracle大数据量操作性能优化是指在处理大量数据时,如何提高 Oracle 数据库的性能。该优化技术涉及到多个方面,包括分区、Direct Insert、并行和排序处理等。 分区是 Oracle 中的一种优化技术,可以将大型表分割成...

    plsql大数据量导出工具

    在Oracle数据库环境中,处理大数据量的表数据导出是一项挑战,特别是当数据达到百万或千万级别时。"plsql大数据量导出工具"是专为解决这类问题而设计的工具,它能有效地从Oracle数据库中导出大规模数据,并将其保存...

    大数据量,海量数据 处理方法总结.pdf

    在处理大数据量和海量数据时,面临的挑战包括数据存储、计算效率和查询速度等。传统的数据处理方法无法有效应对这种规模的数据,因此,学术界和工业界提出了一系列专用技术。以下总结了这些处理方法的核心原理、适用...

Global site tag (gtag.js) - Google Analytics