腾讯2021sigmod论文Spitfire分析
Spitfire：易失和非易失性内存的三层buffer管理
Spitfire： A Three－Tier Buffer Manager for Volatile and Non－Volatile Memory
机制
1、cache line page
将page分割成cache line大小，一个cache line为64字节。由于PM可以字节寻址，所以可以以cache line的粒度进行读写page。页头结构中有标记哪个cache line为脏的位图表，1表示脏。并且有resident字段位图标记哪个cache line加载到了内存，若无加载，这部分在内存中不占空间，节省内存。
2、HYMEM
《managing nvm in database system》分三层架构DRAM－NVM－SSD。
1）SSD上数据页大小16kb，当事务请求时加载到DRAM
2）使用时钟算法替换DRAM中的数据页，PM中使用同样算法
3）判断什么条件下降DRAM中数据页持久化到PM？
4）采用一个准入PM的队列来协助是否将数据页持久化到PM。
5）默认的读路径：SSD－＞NVM－＞DRAM－＞CPU
6）默认的写路径：CPU－＞DRAM－＞NVM－＞SSD
7）读时首先看是否在DRAM，不在时看是否在NVM，都不在则需要将SSD上全页直接加载到DRAM
8）DRAM替换数据页时，首先看他在没在准入队列，若在则将其从队列删除，并持久化到PM；否则将其标记到准入队列，将该页直接持久化到SSD
9）优点：减少了PM写，以及不同层级之间数据的移动
缺点：非并发操作，没有在真实的PM环境上测试。
3、spitfire
使用概率的方法控制不同层级之间数据的迁移，实现冷热数据分离。确保DRAM中是热数据，NVM中是温数据，SSD中是冷数据。
1）Dr：读时，将NVM移动到DRAM中的概率。比如0．01表示每读取100次，才将NVM中数据页迁移到DRAM
2）Dw：写时需要辅助DRAM的概率
3）Nr：读操作时，将SSD迁移到NVM的概率
4）Nw：写的过程中，buffer管理器将DRAM迁移到NVM的概率
5）数据迁移这些概率依赖于工作负载，自适应调整。
6）通过对每层加一个latch，迁移时用到哪层，就对哪层加锁，实现并发
分享
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024（第九届）物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论