`

批量更新数据库

 
阅读更多

 

 

   前言:最近做了个项目:把TXT文件中的资源信息全量更新到数据库中,拿到这个项目后,我首先考虑到性能问题应该是个大问题,于是想到了用批处理解决,但是批处理不能支持事物回滚,且只能一条一条SQL执行,效率虽然比直接更新数据库要快,且不占用CPU。经咨询有一种更好的方法,就是先用C#自带提供的方法SqlBulkCopy批量更新到临时表中,然后联表执行SQL进行更新,插入表的效率很高,50万数据只用5秒左右,更新一百万数据用了4分钟,比起批处理用12分钟效率高了很高,且如果插入失败还可以实物回滚,很好,嘿嘿

下面给出SqlBulkCopy的具体方法:

public class BulkCopyHelper

   {

       /// <summary>

       /// 入库的数据库表名称

       /// </summary>

       private string tableName;

       public string TableName

       {

           get { return tableName; }

           set { tableName = value; }

       }

 

 

       /// <summary>

       /// 待插入的数据源

       /// </summary>

       private DataTable insertSource;

       public System.Data.DataTable InsertSource

       {

           get { return insertSource; }

           set { insertSource = value; }

       }

 

 

       /// <summary>

       /// 数据库的连接串

       /// </summary>

       private string sqlConnection;

       public string SqlConnection

       {

           get { return sqlConnection; }

           set { sqlConnection = value; }

       }

 

 

       /// <summary>

       /// 数据属性与数据库字段对应关系

       /// Key:属性

       /// Value:数据库字段

       /// </summary>

       private Dictionary<string, string> columnNames;

       public Dictionary<string, string> ColumnNames

       {

           get { return columnNames; }

           set { columnNames = value; }

       }

 

       /// <summary>

       /// 每次入库的大小

       /// </summary>

       private int batchSize;

       public int BatchSize

       {

           get { return batchSize; }

           set { batchSize = value; }

       }

 

 

       public BulkCopyHelper()

       {

           

       }

       public  BulkCopyHelper(string tableName, string sqlConnection, int batchSize,DataTable insertSource)

       {

           this.tableName = tableName;

           this.sqlConnection = sqlConnection;

           this.insertSource = insertSource;

           this.batchSize = batchSize;

 

       }

 

 

        /// <summary>

        /// 自动映射字段名

        /// </summary>

        private void AutoSetColumns()

        {

            if (ColumnNames == null || ColumnNames.Count == 0)

            {

                ColumnNames = new Dictionary<string, string>();

                foreach (DataColumn column in InsertSource.Columns)

                {

                    ColumnNames.Add(column.ColumnName, column.ColumnName);

                }

            }

        }

 

        /// <summary>

        /// 批量的插入

        /// </summary>

        /// <returns></returns>

        public bool ExcuteBulkCopy()

        {

            //判断是否可以插入

            if (String.IsNullOrEmpty(TableName))

            {

                throw new SqlNullValueException("表名不能为空");

            }

            if (InsertSource == null || InsertSource.Rows.Count == 0)

            {

                return true;

            }

            //声明连接字符串

            SqlConnection conn = new SqlConnection(SqlConnection);

 

            conn.Open();

            SqlTransaction sqlbulkTransaction = conn.BeginTransaction();

 

            //声明 SqlBulkCopy

            SqlBulkCopy sqlBC = new SqlBulkCopy(conn, SqlBulkCopyOptions.CheckConstraints, sqlbulkTransaction);

 

            //设置一个批,写入多少条记录

            sqlBC.BatchSize = BatchSize != 0 ? BatchSize : 5000;

 

            //设置超时的秒数

            sqlBC.BulkCopyTimeout = 1200;

 

            //设置要写入的数据库

            sqlBC.DestinationTableName = TableName;

 

            //对应数据行

            AutoSetColumns();

            foreach (string columnName in ColumnNames.Keys)

            {

                sqlBC.ColumnMappings.Add(columnName, columnNames[columnName]);

            }

 

            try

            {

                //开始写入

                sqlBC.WriteToServer(InsertSource);

 

                //提交事务

                sqlbulkTransaction.Commit();

                return true;

            }

            catch (Exception exception)

            {

                sqlbulkTransaction.Rollback();

                throw;

            }

            finally

            {

                sqlBC.Close();

                conn.Close();

            }

        }

 

    }

 

 

调用方法:

 

 public bool InsertResourceInfoToDb(Hashtable table, ref string errorInfo)

        {

            try

            {

                //1、清空表中的数据

                string sql = "truncate table CPResourceNoAndHotNo";

                if (!db.ExecuteUpdate(sql, ref errorInfo))

                {

                    return false;

                }

                //转换成DataTable

                DataTable inserttTable = new DataTable();

                inserttTable.Columns.Add("CPResourceNo");

                inserttTable.Columns.Add("HotNum");

                //2、批量插入数据

                foreach (string cpReousrceNo in table.Keys)

                {

                    int hotNo;

                    string hotNoStr = table[cpReousrceNo].ToString();

                    if (!int.TryParse(hotNoStr.Split('.')[0], out hotNo))

                    {

                        continue;

                    }

                    DataRow row = inserttTable.NewRow();

                    row.BeginEdit();

                    row["CPResourceNo"] = cpReousrceNo;

                    row["HotNum"] = hotNo;

                    row.EndEdit();

                    inserttTable.Rows.Add(row);

                }

 

                bool res = db.BatchBulkCopyInsert(inserttTable, "CPResourceNoAndHotNo");

                inserttTable.Rows.Clear();

                return res;

            }

            catch (Exception ex)

            {

                return false;

            }

 

        }

注:CPResourceNoAndHotNo表有两个字段:CPResourceNo,HotNum

分享到:
评论

相关推荐

    Spring Boot数据库批量更新:六种方案,一场效率之战.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    批量更新数据库脚本

    该工具通过VBA实现,可针对数据库异地分布的情况,批量对脚本进行更新。告别以前一个一个连接数据库进行更新脚本的麻烦,大大提高了效率,减少了差错!

    性能实测:Spring Boot中六种批量更新技术谁更快?.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    springboot 批量更新-Spring Boot:操作数据库.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    springboot mysql 批量更新 springboot batch批量更新.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    sql批量附加数据库v3.2

    在SQL Server管理中,批量附加数据库是一项非常实用的功能,尤其对于拥有大量数据库的服务器管理员来说。"sql批量附加数据库v3.2" 提供了一种快速高效的方式来处理这个任务,无需逐一手动操作,大大提高了工作效率。...

    C# 批量插入和更新数据

    在数据库应用开发中,尤其是在处理大量数据的时候,批量插入和更新数据是提高效率的关键技术之一。传统的单条插入或更新方式在面对大数据量时,不仅耗时较长,而且可能会导致资源过度消耗,甚至引发性能瓶颈。因此,...

    C#批量修改数据库

    "C#批量修改数据库" 在C#编写数据库程序时,逐条修改效率低,本文通过整合数据后批次写入数据库,提高了数据处理效率。 标题解释 该标题"C#批量修改数据库"表明本文的主要内容是使用C#语言对数据库进行批量修改...

    SQL2000 2005 批量附加数据库工具

    SQL2000和SQL2005批量附加数据库工具是一款高效实用的软件,专为管理和维护Microsoft SQL Server 2000及2005数据库设计。它提供了一个便捷的方式来一次性附加多个数据库,极大地提高了数据库管理员的工作效率,特别...

    10万条数据下MySQL批量更新6种方式的性能测试.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    Server 2000 批量附加数据库工具【2012修复版】

    PS:这个工具批量附加数据库相当给力,分离数据库也是秒分离,快得很爽 Server 2000 批量附加数据库工具 【版本未知,2012年6月21日亲测有效】 工具操作简介: 分离数据库不能批量,只能选中后右键分离; 附加...

    Spring Boot中六种批量更新策略:效率对决与实测.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    excel批量导入数据库

    本篇文章将详细讲解如何实现“Excel批量导入数据库”,以及利用小工具提高效率。 一、Excel与数据库的交互原理 Excel数据批量导入数据库的过程涉及数据的读取、转换和存储。首先,Excel文件(通常是.XLSX或.XLS格式...

    u8批量附加数据库工具

    【标题】"u8批量附加数据库工具"是一个专为U8系统设计的实用程序,它主要解决了在企业管理软件U8中需要频繁附加数据库时的工作效率问题。U8系统,全称为用友U8企业管理软件,是一款广泛应用于中小企业,集财务管理、...

    数据库高效更新技术:六种批量更新方法对比与应用.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    数据库性能瓶颈突破:批量更新技术的创新应用.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    Spring Boot框架下高效批量更新实践.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    Mysql批量更新:6种方式的效率对比.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    对比六种批量更新方法,优化你的Spring Boot数据库操作.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

    MyBatis-Plus批量更新优化技巧与案例分析.zip

    在大数据量、高并发的场景下,批量更新数据库是一个常见的操作。然而,不同的批量更新方法可能带来截然不同的性能表现。 通过实际测试对比了Spring Boot中6种MySQL批量更新方式的效率,并详细记录了每种方法在处理...

Global site tag (gtag.js) - Google Analytics