`
wangking717
  • 浏览: 263190 次
  • 性别: Icon_minigender_2
  • 来自: 成都
社区版块
存档分类
最新评论

MYSQL打造千万级测试数据

 
阅读更多

为了更好的测试MYSQL性能以及程序优化,不得不去制作海量数据来测试。我这里的方法就是直接用uuid函数进行分配每条数据的不同内容。

 

1.首先创建测试表(card表)

CREATE DATABASE IF NOT EXISTS `test` DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
DROP TABLE IF EXISTS `card`;
CREATE TABLE `card` (
   `card_id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',
   `card_number` varchar(100) DEFAULT NULL COMMENT '卡号',
   PRIMARY KEY (`card_id`)
 ) ENGINE=MyISAM AUTO_INCREMENT=0 DEFAULT CHARSET=utf8 CHECKSUM=1 DELAY_KEY_WRITE=1 ROW_FORMAT=DYNAMIC

 

2.创建MYSQL存储过程

DROP PROCEDURE IF EXISTS proc1;
DELIMITER $$
SET AUTOCOMMIT = 0$$
CREATE  PROCEDURE proc1()
BEGIN
DECLARE v_cnt DECIMAL (10)  DEFAULT 0 ;
dd:LOOP
          INSERT  INTO card (card_number) VALUES (UUID());
                  COMMIT;
                    SET v_cnt = v_cnt+1 ;
                           IF  v_cnt = 10000000 THEN LEAVE dd;
                          END IF;
         END LOOP dd ;
END;$$
DELIMITER ;

 

3.调用存储过程,生成对应的测试数据

call proc1;

 我的机子大概是2分13秒的样子生成完毕,每个人的机子各有不同,生成的时间也会不一样。

 

4.来测试一下性能吧。

select * from card order by rand() limit 1;   //6.5秒查询完毕
select * from card where card_number like '%xxx%'; //3.7秒查询完毕

在这样的海量数据情况下,如果用到模糊查询,那肯定会很慢,一般建议用全文检索引擎来替代(如Sphinx),查询速度就完全解决。 

 

可以参考此文:

使用Sphinx更好地进行MySQL搜索

 

分享到:
评论

相关推荐

    Mysql测试数据 Mysql测试数据 Mysql测试数据

    Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql测试数据。Mysql...

    mysql快速导入百万级千万级数据.zip

    mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据

    mysql百万级测试数据下载 300W条

    本文将围绕“mysql百万级测试数据下载 300W条”这个主题,深入探讨如何处理和利用这样的大数据量进行测试。 首先,`test.sql`文件是一个MySQL数据库的SQL脚本文件,通常包含创建表结构、插入数据等操作。在这个场景...

    mysql 百万测试数据

    mysql 125w条生成的随机数据,近似真实。主要字段有: id,user_name(随机英文字符),real_name(中文名),password(32位),province,city,address,img_url,role_id,telphone,email(正常的邮箱格式),create_time,update_...

    mysql 百万级数据测试

    "MySQL 百万级数据测试"这个主题涉及到了在高容量数据环境下的数据库操作,尤其是如何高效地导入和管理大量数据。MySQL是一个广泛使用的开源关系型数据库管理系统,它以其性能、可靠性和易用性而受到青睐。 首先,...

    Python Faker 企业名称 千万级测试数据脚本

    该脚本仅能生成约1千条不到的不重复企业名称,由于测试需要约1000万不重复的企业名称,故对该脚本进行重新修改,修改后的Faker在Python版本3.7,使用datafaker执行导入mysql数据库生成1000万测试数据约2w重复,重复...

    千万级Mysql-MongoDB性能对比报告

    ### 千万级Mysql-MongoDB性能对比报告 #### 测试环境配置 - CPU: i5 3.30GHz - 内存: 8GB - 操作系统: Windows 7 #### 测试工具与语言 - **Python**作为测试语言 - **MySQL**版本: 5.1,连接工具为**PyMySQL** -...

    mysql千万级数据脚本测试shardingjdbc-course.zip

    在千万级数据测试中,这些脚本可能用于模拟实际业务场景,例如,创建课程表,插入大量课程记录,然后进行各种查询操作,以此来验证ShardingJDBC的分片策略和性能。 在SQL方面,以下是一些关键知识点: 1. **索引...

    mysql 千万级数据优化

    _mysql 千万级数据优化_ MySQL 是一种流行的开源关系数据库管理系统,在大规模数据处理中,MySQL 的性能优化变得非常重要。下面我们将从查询优化和 SQL 编写注意事项两个方面来讨论 MySQL 千万级数据优化。 查询...

    mysql 千万数据表 t_order.zip

    在数据库管理领域,MySQL是一个广泛使用的开源关系型数据库系统,尤其在处理大量数据时,其性能和效率备受赞誉。本文将深入探讨如何管理和优化存储着千万级别数据的表,以"t_order"为例,该表可能存在于您提供的...

    mysql 测试数据集,单表200万条数据

    这个200万条数据的测试集是实践上述理论的好素材,可以帮助我们深入理解MySQL在大数据场景下的表现,优化数据库设计和SQL语句,提升系统整体性能。通过实际操作和测试,我们可以更好地掌握MySQL数据库的相关知识。

    MySQL官方测试数据集 test_db-master.zip

    MySQL官方测试数据集 test_db-master.zip 最多百万级测试数据。github下载地址:https://github.com/datacharmer/test_db。网好的去github下载。

    300万条mysql测试数据

    4. **性能监控**:大量数据测试可以帮助我们评估服务器资源的利用率,如CPU、内存、磁盘I/O等,以确定是否需要调整MySQL配置参数,或者升级硬件设备。 5. **备份与恢复**:测试数据也可以用于测试备份策略和恢复...

    mysql三百万测试数据.zip

    "mysql三百万测试数据.zip" 提供了三百万条测试数据,这使得我们可以模拟大规模数据库环境,对查询效率、索引策略、内存管理、存储引擎等多方面进行深入测试和调优。 1. **性能测试**: 这些测试数据可以帮助我们...

    mysql测试数据新闻数据城市数据

    在这个场景中,"mysql测试数据新闻数据城市数据"可能指的是一个用来测试MySQL数据库性能或者功能的样本数据集,包含了新闻和城市相关的信息。这个数据集通常包含各种表,比如新闻表和城市表,用于模拟真实世界的业务...

    百万mysql测试数据

    "百万mysql测试数据"这样的资源就是为了满足这种需求而存在的。 这个压缩包文件可能包含了百万级别的记录,用于创建一个大规模的数据库环境,以便测试在高负载情况下的MySQL性能。测试数据通常包括各种类型的数据,...

    批量生成mysql中文测试数据

    "批量生成mysql中文测试数据"是一个专门针对这一需求而设计的工具,主要用于生成大量的中文测试数据,以便于开发者进行中文搜索功能的测试和MySQL数据库的优化工作。 这个工具采用PHP语言编写,PHP是一种广泛使用的...

    MySQL千万数据解决方案

    方案一:优化现有mysql数据库。优点:不影响现有业务,源程序不需要修改代码,成本最低。缺点:有优化瓶颈,数据量过亿就玩完了。 方案二:升级数据库类型,换一种100%兼容mysql的数据库。优点:不影响现有业务,源...

    mysql 大批量插入测试数据

    数据库,大批量插入测试数据,可用于生成随机数据

Global site tag (gtag.js) - Google Analytics