MySQL ibdata1共享表空间

作者：UStarGao 日期：2021-05-29 16:51:27 人气：栏目：MySQL

一、MySQL ibdata1共享表空间和独享表空间

1.1 innodb_file_per_table参数简介

（1）InnoDB ibdata1：默认会将所有InnoDB引擎的表数据存储在一个共享空间中，这样就感觉不爽，增删数据库的时候，ibdata1文件不会自动收缩，单个数据库的备份也将成为问题。

（2）在MySQL的配置文件[mysqld]部分，增加innodb_file_per_table参数。可以修改InnoDB为独立表空间模式，每个数据库的每个表都会生成一个数据空间。

官网介绍：https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html

1.2 修改独享表空间

MySQL ibdata1共享表空间(图1)

#查询是否开启独享表空间
MySQL [(none)]>  show variables like "%per_table%";  
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_file_per_table | ON    |
+-----------------------+-------+
1 row in set (0.00 sec)

#开启关闭独享表空间
(1)修改配置文件,增加如下配置
innodb_file_per_table=0 #关闭独立表空间
innodb_file_per_table=1 #开启独立表空间
(2)临时修改，重启后失效
MySQL [(none)]>  set global innodb_file_per_table=0;

1.3 独享表空间优点

（1）每个表都有自已独立的表空间。

（2）每个表的数据和索引都会存在自已的表空间中。

（3）可以实现单表在不同的数据库中移动。

（4）空间可以回收，详情参考：MySQL删除数据空间没有释放原因分析

二、开启独享表空间后，ibdata1存了什么呢？

MySQL5.7当你启用了innodb_file_per_table，表被存储在他们自己的表空间里，但是共享表空间仍然在存储其它的 InnoDB 内部数据：

（1）Data dictonary：数据字典，也就是 InnoDB 表的元数据。

（2）change buffer：变更缓冲区。

（3）Double write buffer：双写缓冲区。

（4）Rollback segments/UNDO space：撤销日志。

MySQL5.7官网介绍：https://dev.mysql.com/doc/refman/5.7/en/innodb-architecture.html

MySQL ibdata1共享表空间(图2)

MySQL8.0官网介绍：https://dev.mysql.com/doc/refman/8.0/en/innodb-architecture.html

MySQL ibdata1共享表空间(图3)

三、什么引起 ibdata1 增长迅速？

3.1 异常分析命令

当MySQL出现问题通常我们需要执行的第一个命令是：

MySQL [(none)]> SHOW ENGINE INNODB STATUS \G

#这将展示给我们一些很有价值的信息。我们从** TRANSACTION（事务）**部分开始检查，然后我们会发现这个：
---TRANSACTION 36E, ACTIVE 1256288 sec  #约14天
MySQL thread id 42, OS thread handle 0x7f8baaccc700, query id 7900290 localhost root 
show engine innodb status
Trx read view will not see trx with id >= 36F, sees < 36F

这是一个最常见的原因，一个14天前创建的相当老的事务。这个状态是活动的，这意味着 InnoDB 已经创建了一个数据的快照，所以需要在撤销日志中维护旧页面，以保障数据库的一致性视图，直到事务开始。如果你的数据库有大量的写入任务，那就意味着存储了大量的撤销页。

如果你找不到任何长时间运行的事务，你也可以监控INNODB STATUS 中的其他的变量，“History list length（历史记录列表长度）”展示了一些等待清除操作。这种情况下问题经常发生，因为清除线程（或者老版本的主线程）不能像这些记录进来的速度一样快地处理撤销。

3.2 事务ACID（Atomicity、Consistency、Isolation、Durability，即原子性、一致性、隔离性、持久性）

当数据库上有多个事务同时执行的时候，就可能出现脏读（dirty read）、不可重复读（non-repeatable read）、幻读（phantom read）的问题，为了解决这些问题，就有了“隔离级别”的概念。

在谈隔离级别之前，你首先要知道，你隔离得越严实，效率就会越低。因此很多时候，我们都要在二者之间寻找一个平衡点。

SQL 标准的事务隔离级别包括：读未提交（read uncommitted）、读提交（read committed）、可重复读（repeatable read）和串行化（serializable ）。下面我逐一为你解释：

（1）读未提交是指，一个事务还没提交时，它做的变更就能被别的事务看到。

（2）读提交是指，一个事务提交之后，它做的变更才会被其他事务看到。

（3）可重复读是指，一个事务执行过程中看到的数据，总是跟这个事务在启动时看到的数据是一致的。当然在可重复读隔离级别下，未提交变更对其他事务也是不可见的。

（4）串行化，顾名思义是对于同一行记录，“写”会加“写锁”，“读”会加“读锁”。当出现读写锁冲突的时候，后访问的事务必须等前一个事务执行完成，才能继续执行。

#查看当前隔离级别
MySQL [(none)]> select @@global.tx_isolation;
+-----------------------+
| @@global.tx_isolation |
+-----------------------+
| REPEATABLE-READ       |
+-----------------------+
1 row in set (0.00 sec)

3.3 事务隔离的实现-可重复读

在 MySQL 中，实际上每条记录在更新的时候都会同时记录一条回滚操作。记录上的最新值，通过回滚操作，都可以得到前一个状态的值。

假设一个值从 1 被按顺序改成了 2、3、4，在回滚日志里面就会有类似下面的记录。

MySQL ibdata1共享表空间(图4)

当前值是 4，但是在查询这条记录的时候，不同时刻启动的事务会有不同的 read-view。如图中看到的，在视图 A、B、C 里面，这一个记录的值分别是 1、2、4，同一条记录在系统中可以存在多个版本，就是数据库的多版本并发控制（MVCC）。对于 read-view A，要得到 1，就必须将当前值依次执行图中所有的回滚操作得到。

同时你会发现，即使现在有另外一个事务正在将 4 改成 5，这个事务跟 read-view A、B、C 对应的事务是不会冲突的。

你一定会问，回滚日志总不能一直保留吧，什么时候删除呢？答案是，在不需要的时候才删除。也就是说，系统会判断，当没有事务再需要用到这些回滚日志时，回滚日志会被删除。

什么时候才不需要了呢？就是当系统里没有比这个回滚日志更早的 read-view 的时候。

基于上面的说明，我们来讨论一下为什么建议你尽量不要使用长事务。

长事务意味着系统里面会存在很老的事务视图。由于这些事务随时可能访问数据库里面的任何数据，所以这个事务提交之前，数据库里面它可能用到的回滚记录都必须保留，这就会导致大量占用存储空间。

在 MySQL 5.5 及以前的版本，回滚日志是跟数据字典一起放在 ibdata 文件里的，即使长事务最终提交，回滚段被清理，文件也不会变小。（ibdata1文件不会自动收缩）我见过数据只有 20GB，而回滚段有 200GB 的库。最终只好为了清理回滚段，重建整个库。

除了对回滚段的影响，长事务还占用锁资源，也可能拖垮整个库，这个我们会在后面讲锁的时候展开。

3.4 事务的启动方式

如前面所述，长事务有这些潜在风险，我当然是建议你尽量避免。其实很多时候业务开发同学并不是有意使用长事务，通常是由于误用所致。MySQL 的事务启动方式有以下几种：

（1）显式启动事务语句， begin 或 start transaction。配套的提交语句是 commit，回滚语句是 rollback。

（2）set autocommit=0，这个命令会将这个线程的自动提交关掉。意味着如果你只执行一个 select 语句，这个事务就启动了，而且并不会自动提交。这个事务持续存在直到你主动执行 commit 或 rollback 语句，或者断开连接。

有些客户端连接框架会默认连接成功后先执行一个 set autocommit=0 的命令。这就导致接下来的查询都在事务中，如果是长连接，就导致了意外的长事务。

因此，我会建议你总是使用 set autocommit=1, 通过显式语句的方式来启动事务。

但是有的开发同学会纠结“多一次交互”的问题。对于一个需要频繁使用事务的业务，第二种方式每个事务在开始时都不需要主动执行一次 “begin”，减少了语句的交互次数。如果你也有这个顾虑，我建议你使用 commit work and chain 语法。

在 autocommit 为 1 的情况下，用 begin 显式启动的事务，如果执行 commit 则提交事务。如果执行 commit work and chain，则是提交事务并自动启动下一个事务，这样也省去了再次执行 begin 语句的开销。同时带来的好处是从程序开发的角度明确地知道每个语句是否处于事务中。

你可以在 information_schema 库的 innodb_trx 这个表中查询长事务，比如下面这个语句，用于查找持续时间超过 60s 的事务。

select * from information_schema.innodb_trx where TIME_TO_SEC(timediff(now(),trx_started))>60

四、如何检查什么被存储到了ibdata1里呢？

MySQL 不提供查看什么被存储到 ibdata1 共享表空间的信息，但是有两个工具将会很有帮助。

4.1 innochecksum

[root@ansible ~]# innochecksum /var/lib/mysql/ibdata1
0 bad checksum
13 FIL_PAGE_INDEX
19272 FIL_PAGE_UNDO_LOG
230 FIL_PAGE_INODE
1 FIL_PAGE_IBUF_FREE_LIST
892 FIL_PAGE_TYPE_ALLOCATED
2 FIL_PAGE_IBUF_BITMAP
195 FIL_PAGE_TYPE_SYS
1 FIL_PAGE_TYPE_TRX_SYS
1 FIL_PAGE_TYPE_FSP_HDR
1 FIL_PAGE_TYPE_XDES
0 FIL_PAGE_TYPE_BLOB
0 FIL_PAGE_TYPE_ZBLOB
0 other
3 max index_id
#全部的 20608 中有 19272 个撤销日志页。这占用了表空间的 93%。

4.2 space-summary

InnoDB Ruby 工具，它是个检查 InnoDB 的内部结构的更先进的工具。例如我们可以使用 space-summary 参数来得到每个页面及其数据类型的列表。我们可以使用标准的 Unix 工具来统计撤销日志页的数量：

[root@ansible ~]# innodb_space -f /var/lib/mysql/ibdata1 space-summary | grep UNDO_LOG | wc -l
19272

五、有什么方法可以回收已使用的ibdata1空间呢？

没有，目前还没有一个容易并且快速的方法去释放ibdata1空间。当你删除一些行，这个页被标为已删除稍后重用，但是这个空间从不会被回收。唯一的方法是使用新的 ibdata1 启动数据库，那么首先你需要使用 mysqldump 做一个逻辑全备份，然后停止 MySQL 并删除所有数据库、ib_logfile、ibdata1 文件。当你再启动 MySQL 的时候将会创建一个新的共享表空间，然后恢复逻辑备份。【即重做】

当 ibdata1 文件增长太快，通常是 MySQL 里长时间运行的被遗忘的事务引起的。尝试去解决问题越快越好（提交或者杀死事务），那将停止 ibdata1 的增长（ibdata1文件不会自动收缩），但是很显然，你的软件会出现漏洞，有些人会遇到错误。可以使用调试工具或普通的查询日志来找出什么语句引起的ibdata1增长过快问题。

作者：UStarGao
链接：https://www.starcto.com/mysql/156.html
来源：STARCTO
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

UCloud云平台推荐

UCloud新用户专属注册连接

UCloud CDN超值特惠专场

UCloud全球云主机（UHost/VPS）大促页面

UCloud快杰云主机大促页面