
其中,Redo Log(重做日志)作为InnoDB存储引擎的关键组件,在保证数据持久性和崩溃恢复方面发挥着至关重要的作用
本文将深入探讨MySQL Redo Log的格式、写入机制及其在系统中的作用,以期为数据库管理员和开发人员提供一份详尽的参考指南
一、Redo Log概述 Redo Log,即重做日志,是InnoDB存储引擎特有的一种物理日志
它记录了对数据页的物理修改操作,例如“某个数据页的某个偏移量处的值从X改成了Y”
这种日志机制确保了即使在系统崩溃的情况下,也能通过Redo Log恢复数据到崩溃前的状态,从而保障数据的持久性和完整性
Redo Log由两部分组成:内存中的Redo Log Buffer和磁盘上的Redo Log文件
当有数据修改操作时,InnoDB会将这些操作先写入Redo Log Buffer
随后,根据一定的策略(如事务提交时、每秒一次、Redo Log Buffer空间不足时),Redo Log Buffer中的内容会被刷写到磁盘上的Redo Log文件中
刷写到磁盘的Redo Log是持久化的,即使系统崩溃也不会丢失
二、Redo Log文件格式 在MySQL 8.0.30及之后的版本中,Redo Log文件的格式得到了进一步的优化和重构
以下是对Redo Log文件格式的详细解析: 1.日志文件大小与数量: - Redo Log文件的大小通过一个唯一的参数`innodb_redo_log_capacity`控制,默认值为100MB
-`innodb_redo_log_capacity`会被划分为32个子文件(如`ib_redoN`),每个子文件的大小相同,用于循环写入
2.文件结构: - 每个Redo Log文件由大小为2KB的Log File Header(HDR)和若干个512字节的Log Block组成
- 每个Log Block包含一个12字节的Block Header(HDR)和一个4字节的Block Trailer(TRL)
3.Block Header与Block Trailer: - Block Header中记录了epoch_no(纪元号)、hdr_no(块号)、data_len(数据长度)和first_rec_group_offset(第一个新开始的mtr的第一条Redo Log的起始偏移量)
- first_rec_group_offset用于帮助找到Redo Log的解析起点,确保在崩溃恢复时能准确恢复数据
- Block Trailer记录了当前block的checksum(校验和),用于数据完整性校验
4.日志记录(Log Record): - 在内存中,日志记录是直接首尾连接的,并用序列号(Sequence Number,简称sn)标识
- 当日志记录被写入到物理文件中时,会被写入一个个Log Block中,并用日志序列号(Log Sequence Number,简称lsn)标识
- lsn在计算时不仅考虑Log Block Data,还会加上Log Block HDR和TRL的偏移量
5.跨Block与跨文件写入: - 由于Log Block的大小固定(512字节),一条日志记录可能会被截断并写入到不同的Log Block中
因此,在解析日志记录时,需要把Log Block中的data拼接起来
- 同样地,当写入操作跨越多个Redo Log文件时,这些文件在逻辑上是相连的,从lsn的角度来看也是相连的
即lsn不会包含Log File HDR,而仅包含Log Block HDR和TRL
三、Redo Log的写入与解析机制 1.写入机制: -用户线程并发写入:MySQL实现了无锁写入Redo Log的功能,允许用户线程并发地将Redo Log写入到log buffer中
这通过预先分配一段log buffer并引入Link_buf(一个数组,用于追踪log buffer中的空洞)来实现
-刷盘策略:Redo Log的刷盘时机由系统参数`innodb_flush_log_at_trx_commit`控制
默认情况下,该参数值为1,即每次事务提交时都会自动调用操作系统函数fsync将数据写入磁盘中的Redo Log文件中
这保证了数据的持久性
-循环写入:Redo Log文件是循环使用的
当所有文件都写满时,InnoDB会通过移动checkpoint来擦除一些空间数据,以便容纳新数据
write pos(当前写入位置)和checkpoint相遇时,说明文件已满
2.解析机制: - 在崩溃恢复时,InnoDB会检查Redo Log文件,并根据lsn和first_rec_group_offset等信息找到已提交但未写入数据文件的事务记录
- 然后,InnoDB会根据这些记录将这些修改重新应用到数据文件中,从而完成崩溃恢复过程
四、Redo Log在系统中的作用 1.实现事务的持久性: - Redo Log是实现WAL(Write-Ahead Logging,预写式日志)机制的关键
WAL机制保证了数据在写入磁盘之前,其对应的Redo Log已经写入磁盘
这样,即使数据页在内存中还未写入磁盘就发生崩溃,也可以通过Redo Log进行恢复,从而保证了事务的持久性
2.崩溃恢复: - 当MySQL发生崩溃时,在重启时可以通过Redo Log来恢复数据到崩溃前的状态,确保已提交事务的数据不会丢失
这个过程称为崩溃恢复(Crash Recovery)
3.提升数据库并发能力: - 通过Redo Log Buffer记录修改内容,并通过刷盘策略进行数据刷盘更新,InnoDB能够减少直接同步持久化数据的IO次数,从而提升数据库的并发能力
五、总结 MySQL Redo Log作为InnoDB存储引擎的核心组件,在保证数据持久性、实现崩溃恢复和提升数据库并发能力方
MySQL重装后,注册表消失解决指南
深入解析:MySQL Redo Log的格式与工作机制
MySQL数据库条带化存储大小优化
图解MySQL源码:深入数据库核心
MySQL脚本迁移至Oracle指南
MySQL中退出循环的实用技巧
MySQL建表技巧:融入数据库设计
MySQL重装后,注册表消失解决指南
MySQL数据库条带化存储大小优化
图解MySQL源码:深入数据库核心
MySQL脚本迁移至Oracle指南
MySQL中退出循环的实用技巧
MySQL建表技巧:融入数据库设计
期货CTP平台数据在MySQL中的高效管理与应用
MySQL本地IP连接指南
MySQL创建全权限Root用户指南
MySQL字段长度:含义与作用解析
MySQL数据表备份全攻略
MySQL数据库:如何生成6位数随机码作为密码设置