RocketMQ之消息刷盘

分类: 365bet软件下 时间: 2025-11-26 05:02:58 作者: admin 观测: 2851
RocketMQ之消息刷盘

一、什么是消息刷盘

将内存中生产的消息持久化到磁盘的操作就是消息刷盘。消息是用于不同服务之间通信使用,为了确保它的可靠性,必须要将它持久化到磁盘当中,这样可以保证在宕机或异常情况发生时,消息不会丢失。

二、消息刷盘时机

通常情况下,消息会先被写入内存中的缓冲区,在缓冲区数据达到一定量或者一定时间后,才会将缓冲区中的消息刷盘到磁盘文件中。消息引擎(RocketMQ)一般会提供不同的刷盘方式,包括同步刷盘、异步刷盘等。

RocketMQ的刷盘机制是自启动的,在生产者端,消息的发送也涉及到刷盘机制,RocketMQ 默认使用异步刷盘的方式实现,即将消息数据先写入内存中,等待一段时间或缓冲区满后,将数据异步刷入磁盘中。如果要使用同步刷盘方式,可以将 FlushMode 配置为 SYNC_FLUSH。

消息刷盘核心源码在org.apache.rocketmq.store,其他模块也有涉及。

值得注意的是RocketMQ也有检查机制来切换刷盘方式

刷盘模式:如果当前的刷盘模式为异步方式,但是检测到有大量的数据已经积压到了内存中,没有及时地落盘,此时为了保证数据的可靠性,RocketMQ 会自动切换为同步刷盘方式进行数据的刷盘操作。

文件数量检测:RocketMQ 设置了一个参数 flushDiskLeastPages,表示刷盘执行的最小磁盘页数。如果当前没有达到最小磁盘页数,此时为了提高系统的性能,RocketMQ 会使用异步刷盘方式;到达最小磁盘页数后,RocketMQ 会自动切换为同步刷盘方式。

这些机制的源码也是在store模块下,感兴趣的可以去翻翻看,大多数都在DefaultMessageStore类下

三、同步刷盘、异步刷盘、异步加缓冲区刷盘

下面是一张官方的图:

流程是Producer—>Broker—>CommitLog。

在Producer发送消息时,Broker会将消息写入内存,并在指定的时间间隔内将所有的消息批量刷盘到磁盘上的CommitLog文件中。具体来说,当Broker接收到一条新消息后,会将其追加到当前的CommitLog文件末尾,然后记录消息在索引文件(IndexFile)中的位置,以便可以根据消息在索引文件中的位置快速查找消息。

CommitLog和IndexFile文件都在你下载的RocketMQ的store目录下

我觉得同步刷盘(GroupCommitService)和异步刷盘(FlushRealTimeService)最大的区别在于刷盘时机。

注:这个PageCache就是内存缓冲区,是操作系统级别的东西

同步刷盘,消息被写入PageCache后立即刷盘,只有当消息被持久化到磁盘后才会响应ACK,也就是写到CommitLog文件中。性能差点,属于是那种强一致性业务才会使用

异步刷盘,消息在被写入PageCache后就会响应ACK,当达到一定量的时候,会周期性刷盘到磁盘中

至于第三种,不太可靠,不多讲解了

← 大运流年是什么意思 win7如何显示隐藏文件与文件夹 →

相关时空节点

揭秘苹果耳机的易损之处(从耐用性到电线设计,这是苹果耳机的问题所在)

揭秘苹果耳机的易损之处(从耐用性到电线设计,这是苹果耳机的问题所在)

10-06 💫 320
“119”、“12119”、“96119” 报警电话到底该拨打哪一个?

“119”、“12119”、“96119” 报警电话到底该拨打哪一个?

07-17 💫 330
怎样免费装扮QQ空间皮肤?免费的qq装扮如何使用?

怎样免费装扮QQ空间皮肤?免费的qq装扮如何使用?

07-03 💫 623