博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache RocketMQ 刷盘策略与复制策略
阅读量:3781 次
发布时间:2019-05-22

本文共 1196 字,大约阅读时间需要 3 分钟。

1.png

Apache RocketMQ 刷盘策略与复制策略

Apache RocketMQ 系列介绍:

Apache RocketMQ之JMS基本概念及使用:
Apache RocketMQ 基础概念及架构解析:
Apache RocketMQ 的基础特性介绍:
Apache RocketMQ 集群搭建(两主两从):
Apache RocketMQ 刷盘策略与复制策略:


RocketMQ 的所有消息都是持久化的,先写入系统 PAGECACHE,然后刷盘,可以保证内存与磁盘都有一份数据,访问时,直接从内存读取。

异步刷盘(ASYNC_FLUSH):

1.png

返回成功状态时,消息只是被写入内存 pagecache,写操作返回快,吞吐量达,当内存里的消息积累到一定程度时,统一出发写磁盘动作,快速写入。

在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左右,而线上的网卡一般都为千兆网卡,写磁盘速度明显快于数据网络入口速度,那举是否可以做到写完内存就吐用户返回,由后台线程刷盘呢?

  1. 由于磁盘速度大于网卡速度,那么刷盘的进度肯定可以跟上消息的写入速度。

  2. 万一由于此时系统压力过大,可能堆积消息,除了写入 IO,还有读取 IO,万一出现磁盘读取落后情况,

    会不会导致系统内存溢出,答案是否定的,原因如下:

    a) 写入消息到 pagecache 时,如果内存不足,则尝试丢弃干净的 page,腾出内存供新消息使用,策略是 LRU 方式。

    b) 如果干净页不足,此时写入 pagecache 会被阻塞,系统尝试刷盘部分数据,大约每次尝试 32 个 page,来找出更多干净 page。

综上,内存溢出的情冴不会出现。

同步刷盘(SYNC_FLUSH):

2.png

返回成功状态时,消息已经被写入磁盘。

消息写入内存 pagecache 后,立即通知刷盘线程,刷盘完成后,返回消息写成功的状态。

同步刷盘与异步刷盘的唯一区别是异步刷盘写完 pagecache 直接返回,而同步刷盘需要等待刷盘完成才返回,

同步刷盘流程如下:

  1. 写入 pagecache 后,线程等待,通知刷盘线程刷盘。

  2. 刷盘线程刷盘后,唤醒前端等待线程,可能是一批线程。

  3. 前端等待线程吐用户返回成功。


复制策略:

同步复制(SYNC_MASTER):

master 和 slave 都写成功后返回成功状态。好处是如果master出故障,slave上有全部备份,容易恢复。缺点是增大延迟,降低吞吐量。

异步复制(ASYNC_MASTER):

只要 master 写成功就返回成功状态。好处是低延迟、高吞吐,缺点是如果 master 出故障,数据没有写入 slave,就会有丢失。

推荐策略: 异步刷盘(ASYNC_FLUSH) + 同步复制(SYNC_MASTER)。

RocketMQ 刷盘策略与复制策略介绍完成:)。

转载地址:http://dyhvn.baihongyu.com/

你可能感兴趣的文章
oracle5:oracle的图形界面操作,分页查询,练习
查看>>
密码学基础之对称密码体制和公钥密码体制
查看>>
Spark Streaming进阶
查看>>
C++顺序表经典算法
查看>>
网络安全与管理知识点总结
查看>>
YARN的概述
查看>>
企业级ansible(一)-----ansible的基础知识了解
查看>>
有关IP及IP设定方式 ,改造虚拟机做路由
查看>>
路由器的搭建虚拟机上网及DHCP服务、dns解析
查看>>
linux系统的定时、延迟任务管理
查看>>
linux系统的磁盘管理方式
查看>>
管理lvm(Logical Volume Manager)
查看>>
yum源的配置及第三方软件仓库的管理、yum命令、rpm命令的使用
查看>>
linux系统的selinux管理
查看>>
linux系统的网络桥接配置及链路聚合
查看>>
关于DNS部署
查看>>
类的内存模型(二)
查看>>
生产者消费者模型
查看>>
#剑指offer Day2 一类可以用“框架”快速搞定的二叉树问题
查看>>
#剑指offer Day3 一类 “ 斐波那契 ”问题
查看>>