7.5 KiB
innodb体系结构
innodb体系结构
innodb体系结构由如下部分构成
- innodb存储引擎内存池
- 后台线程
- 磁盘上的文件数据
innodb内存池由多个内存块构成，内存快负责如下功能：
- 维护进程、线程访问的内部数据结构
- 对磁盘上的文件数据进行缓存（加快读取速度），同时缓存对磁盘数据的修改
- redo log缓冲
在innodb存储引擎中，后台线程主要负责刷新内存池中的数据，保证内存缓存为最新状态。此时后台线程还负责将内存池中的修改刷新到磁盘中。
后台线程
innodb采用多线程模型，存在多个后台线程，每种后台线程负责不同的后台任务。
Master Thread
Master Thread主要负责将内存池中的缓存数据异步刷新到磁盘中，包括脏页的刷新、合并插入缓冲（insert buffer），undo页的回收等。
IO Thread
innodb中使用AIO来处理IO请求，IO Thread主要则用来处理异步IO的回调，其中innodb_read_io_threads和innodb_write_io_threads默认均为4个。
show variables like 'innodb_%_io_threads'
| Variable_name | Value |
|---|---|
| innodb_read_io_threads | 4 |
| innodb_write_io_threads | 4 |
Purge Thread
当事务被提交之后，其对应的undo log不再会被需要，需要Purge Thread来回收已经使用的undo页。
可以设置多个purge threads，默认情况下，mysql 8的purge threads为4个：
show variables like 'innodb_purge_threads'
| Variable_name | Value |
|---|---|
| innodb_purge_threads | 4 |
Page Cleaner Thread
page cleaner thread将脏页刷新的任务放到单线程中来完成，从而减轻原Master Thread的工作以及减少对用户查询线程的阻塞。
内存
缓冲池
innodb存储引擎是基于磁盘存储的，并将记录基于页的方式进行管理。为了提升数据库系统的读写性能，通常采用缓冲池来提升数据库的整体性能。
缓冲池原理
读缓冲
在数据库读取磁盘上的页面时，会将丛磁盘上读取到的页存放到缓冲池中，后续再读取相同的页数据时，先丛缓冲池中查找。如果缓冲池中存在该页，直接从缓冲池中读取。
写缓冲
在数据库针对磁盘上的页数据进行修改时，首先会尝试修改缓冲池中的页数据，并且，缓冲池中的页数据会定期刷新到磁盘中。
缓冲池刷新页到磁盘中的操作，由checkpoint机制进行触发，并不会在每次更新缓冲池中的页数据后立马触发。
缓冲池参数配置
对于innodb，其缓冲池大小通过innodb_buffer_pool_size来配置。默认情况下，innodb_buffer_pool_size大小为128M.
show variables like 'innodb_buffer_pool_size'
| Variable_name | Value |
|---|---|
| innodb_buffer_pool_size | 134217728 |
缓冲池中缓存的数据页类型如下：
- 索引页
- 数据页
- 插入缓冲（insert buffer）
- 自适应哈希索引
- innodb存储的锁信息
- 数据字典信息
在mysql 8中，innodb可以支持多个缓冲池实例，每个页根据hash值不同被散列到不同缓冲池实例中，这样可以提高应用的并发能力。
缓冲池实例数量可以通过innodb_buffer_pool_instances变量来进行设置，该变量默认值为1.
innodb_buffer_pool_size
当修改innodb_buffer_pool_size时，操作将会在chunk上执行。chunk size通过innodb_buffer_pool_chunk_size来配置。
令M = innodb_buffer_pool_chunk size * innodb_buffer_pool_instances
innodb_buffer_pool_size必须等于M或是M的整数倍。如果innodb_buffer_pool_size不等于M且不是M的整数倍，那么innodb_buffer_pool_size将会被自动调整到等于M或是M的整数倍。
设置innodb_buffer_pool_size示例
innodb_buffer_pool_chunk_size其默认大小为128M，如果将innodb_buffer_pool_instances调整为16，那么M值为128M * 16 = 2G.将innodb_buffer_pool_size设置为8G
由于
8G = 2G * 4，那么8G是2G的整数倍，此时该innodb_buffer_pool_size有效将innodb_buffer_pool_size设置为9G
由于9G不是2G的整数倍，那么innodb_buffer_pool_size将会被自动调整到10G，10G是2G的整数倍
LRU List, Free List, Flush List
缓冲池是一块由页构成的内存区域。
innodb中缓冲池通过LRU算法来进行管理，LRU中最频繁使用的页放在最前端，而较少使用的页放在最尾端。当缓冲池中内存已满，不能存放新读取到的页时，会释放LRU尾端较少使用的页。
innodb中，页大小默认为16KB.
midpoint
在LRU中，新读取的页，并不放在LRU的首部，而是放在midpoint的位置，该算法被称为midpoint insertion strategy。
默认情况下，midpoint位于5/8的位置，离首部5/8， 离尾部3/8。在innodb中，将首部 -> midpoint部分的页称之为new列表，midpoint -> 尾部部分称之为old列表。
midpoint位置可以通过innodb_old_blocks_pct来进行控制，默认情况下该值为37。
show variables like 'innodb_old_blocks_pct'
结果为
| Variable_name | Value |
|---|---|
| innodb_old_blocks_pct | 37 |
引入midpoint的原因是防止在进行数据扫描等操作时，热点数据被淘汰。
此外，innodb还引入了innodb_old_blocks_time变量来管理LRU列表，代表LRU列表在被读取到midpoint位置后，需要经过多久时间才能被加入到LRU的new部分。
默认情况下，innodb_old_blocks_time该值为1000（单位为ms），如果增加该值，会使新页面更快的从缓冲区中淘汰。
page made young
在innodb LRU中，使用了midpoint insertion的方法来对LRU列表进行管理。当需要将一个新的页添加到缓冲池时，最近最少被使用的页将会从缓冲池中淘汰，并且新的页将会被插入到midpoint位置。
midpoint将LRU列表分为了两部分：
- young部分：该部分为head到midpoint的部分，默认占列表长度的5/8，用于存放访问频繁的页
- old部分：用于存放访问频率较少的页
默认情况下，LRU通过如下算法管理缓冲池：
- 3/8部分属于old sublist部分
- 当innodb读取页到缓冲池中时，新读取的页将会被插入到midpoint位置。页可能因为如下原因被读取：
- 由用户发起的操作，例如sql查询
- 由innodb执行的read ahead操作
- 当访问old部分的页时，会
made young，即将页从old部分移动到young部分的头部。如果对old部分页的访问是由用户发起的操作，那么那么该页面会被移动到young部分的头部 - 随着数据库的运行，LRU中的young部分和old部分页面都会向LRU列表尾部移动，这被称为
老化。当其他页面触发made young操作时：- 如果发生
made young操作，那么young部分和old部分的节点都会向后移动，发生老化 - 如果由新页面被插入到midpoint，那么只有old部分的节点会发生老化
- 如果发生
FreeList
当数据库实例刚启动时，LRU里列表中并没有任何页，此时页都存放在Free List中。当要从缓冲池中获取页时，首先查看Free List中是否有空闲的页，如果有则从FreeList中获取，并将该页添加到LRU的midpoint位置；若Free List中没有空闲的页，那么将根据LRU算法淘汰LRU尾部的页，将淘汰页的内存空间分配给新的页。