MySQL单表大小的限制在目前的技术环境中,由所在主机的OS上面的文件系统来界定而不是由MySQL数据库本身来决定了。
在老版本的MySQL 3.22中,MySQL单表大小为4GB,当时的MySQL的存储引擎还是ISAM存储引擎。但是,当出现MyISAM存储引擎之后,也就是从MySQL 3.23开始,MySQL单表最大限制就已经扩大到了64PB了(官方文档显示)。也就是说,从目前的技术环境来看,MySQL数据库的MyISAM存储引擎单表大小限制已经不是由MySQL数据库本身来决定,而是由所在主机的OS上面的文件系统来决定了。
而MySQL另外一个最流行的存储引擎之一Innodb存储数据的策略是分为两种的,一种是共享表空间存储方式,还有一种是独享表空间存储方式。
当使用共享表空间存储方式的时候,Innodb的所有数据保存在一个单独的表空间里面,而这个表空间可以由很多个文件组成,一个表可以跨多个文件存在,所以其大小限制不再是文件大小的限制,而是其自身的限制。从Innodb的官方文档中可以看到,其表空间的最大限制为64TB,也就是说,Innodb的单表限制基本上也在64TB左右了,当然这个大小是包括这个表的所有索引等其他相关数据。
而当使用独享表空间来存放Innodb的表的时候,每个表的数据以一个单独的文件来存放,这个时候的单表限制,又变成文件系统的大小限制了。
以下是从收集到的一点信息,不一定全部准确:
操作系统 大小限制
Java代码
win32 w/ FAT/FAT32 2GB/4GB
win32 w/ NTFS 2TB(可能更大)
Linux 2.2-Intel 32-bit 2GB (LFS: 4GB)
Linux 2.4+ 4TB(ext3)
Solaris 9/10 16TB
NetWare w/NSS filesystem 8TB
MacOS X w/ HFS+ 2TB
win32 w/ FAT/FAT32 2GB/4GB
win32 w/ NTFS 2TB(可能更大)
Linux 2.2-Intel 32-bit 2GB (LFS: 4GB)
Linux 2.4+ 4TB(ext3)
Solaris 9/10 16TB
NetWare w/NSS filesystem 8TB
MacOS X w/ HFS+ 2TB
以下是MySQL文档中的内容:
Windows用户请注意: FAT和VFAT (FAT32)不适合MySQL的生产使用。应使用NTFS。
在默认情况下,MySQL创建的MyISAM表允许的最大尺寸为4GB。你可以使用SHOW TABLE STATUS语句或myisamchk -dv tbl_name检查表的最大尺寸。请参见13.5.4节,“SHOW语法”。
如果需要使用大于4GB的MyISAM表(而且你的操作系统支持大文件),可使用允许AVG_ROW_LENGTH和MAX_ROWS选项的CREATE TABLE语句。创建了表后,也可以使用ALTER TABLE更改这些选项,以增加表的最大允许容量。
http://www.codesky.net/article/201010/147113.html
利用MySQL数据库如何解决大数据量存储问题?
暂时可以先考虑用infobright 这是mysql的数据仓库解决方案
如果这都满足不了需求 再考虑hadoop
好吧,你的检索SQL是怎么样的?
每张表每天几千万,对于写入性能的要求也就很高了。10000000/3600/24,每秒要写入115条记录。
而且你的数据属于归档类数据,可以用mongodb来存储,写入速度和查询速度比MYSQL都要好很多。
相关推荐
在数据库管理领域,MySQL是广泛使用的开源关系型数据库系统,尤其在处理大数据量时,其性能优化和高效表设计显得尤为重要。本篇文章将深入探讨针对MySQL大表的性能优化策略以及如何遵循高性能的表设计规范。 一、...
### Windows服务器限制MySQL空间容量配额 在Windows服务器环境下,限制MySQL数据库的空间容量配额是一项常见但又具有一定挑战性的任务。对于那些希望精细化管理每个数据库所占用存储空间的系统管理员而言,实现这一...
Google是您的朋友吗?请参考以下内容:存储引擎[^] difference-between-innodb-and-myisam.html [^] myisam-or-innodb-mysql-engine [^]希望它会有所帮助:)
MySQL数据库在设计时,单表数据量的大小是一个重要的考虑因素。常见的观点是,当单表数据超过一定数量,如500万行或2000万行时,应考虑进行分库分表操作。这个观点的起源可以追溯到百度的DBA测试,他们发现当表的...
4. **超出最大内存限制**:如果内存临时表的大小超过了`max_heap_table_size`或`tmp_table_size`的最大限制,那么该表将被转化为磁盘临时表。 #### 三、临时表状态监控 为了确保MySQL系统的高效运行,监控临时表的...
2. **缩小结果集**:通过限制返回的结果行数或仅选择必要的列,来减小查询结果集的大小。 3. **合理使用索引**:为经常用于查询的列建立索引,可以显著提高查询速度。特别是将索引应用于WHERE子句中的条件列。 4. **...
4. 导入文件大小限制默认情况下,MySQL的文件导入大小限制为2MB。可以通过调整MySQL配置文件(my.ini或my.cnf)中的`max_allowed_packet`参数来增加限制,如: ```ini [mysqld] max_allowed_packet=100M ``` 同时,...
根据实际需求,还可以调整其他参数,如连接数限制、缓存大小等。 总结来说,Linux环境下安装MySQL单机版涉及规划目录、下载安装包、初始化数据库、设置服务、修改密码、配置远程访问等多个步骤。正确执行这些步骤,...
# 单表增加过大,如超过100G # 结论: # 共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时,请合理调整:innodb_open_files innodb_open_files = 500 # 限制Innodb能打开的表的数据...
2. **禁用网络限制**: - 编辑`/etc/mysql/my.cnf`文件,注释掉`skip-networking`行: ```bash > skip-networking => #skip-networking ``` - 或者直接授权特定IP访问: ```sql grant all on *.* to 'root'@...
- **作用**:控制表缓存大小,即MySQL为打开表分配的缓存数量。 - **影响**:合理的值能显著提升表的打开速度,进而提高查询性能。需要注意的是,此值需根据实际应用的连接数和复杂度灵活调整。 - **external-...
7. `max_allowed_packet`:限制单个SQL语句的最大数据包大小,防止因大查询导致的问题。 8. `binlog_cache_size`:在事务中用于存储SQL语句的二进制日志缓存大小,适用于大型事务。 9. `max_heap_table_size`:...
确保选择正确的虚拟机硬件配置,如内存大小和处理器核心数量,以便顺利运行MySQL数据库。 接下来是第二步,通过麒麟软件商店安装MySQL。这是为普通用户提供的一种便捷方式,可以快速获取并安装软件。在软件商店中...
MySQL-server包包含了运行MySQL服务所需的所有组件,包括MySQL守护进程(mysqld)、配置文件、系统表和必要的库文件。安装这个包后,可以在Linux系统上启动、管理和配置MySQL服务器。5.0.22是MySQL的一个版本号,...
mysql-size-estimator 是一个简单的工具,用于估计给定表模式的 mysql 表大小。 它不是 100% 准确的,也不可能是。 使用此工具提供洞察力要好得多。 字符串字段将消耗其限制。 假设您有一个 utf-8 字符串字段,...
- **定义**: 控制MyISAM引擎在执行批量插入操作时使用的缓冲区大小。例如,在执行 `INSERT ... SELECT`、`LOAD DATA INFILE` 等操作时。 - **作用范围**: 全局或会话级别。 - **配置**: 可以在配置文件中设置。 - **...
注意MySQL对单个命令大小的限制,可通过`max_allowed_packet`属性调整。 ```csharp // 使用StringBuilder高效拼接字符串 var sqlBuilder = new StringBuilder(); // 添加insert 语句的头 string sqlHeader = ...
2. 避免全表扫描:尽量使用WHERE子句限制查询范围,避免对整个表进行扫描。 3. 避免在WHERE子句中使用!=或操作符,它们无法使用索引。 4. 使用EXPLAIN分析查询执行计划,了解数据库如何执行查询,找出优化点。 二、...
- **临时表空间**:在MySQL 5.7版本之后,临时表默认存储在内存中,但如果超出内存限制,会转存到磁盘上的临时表空间。理解和管理临时表空间对于优化性能至关重要。 通过了解上述内容,你可以有效地监控和管理MySQL...