【mq读书笔记】消息拉取

2023-02-22,,

疑问:PullRequest何时添加?

PullMessageService提供延迟添加与立即添加2种方式

疑问:PullRequest是在什么时候创建的呢?

1.上上图中 PullRequest pullRequest = this.pullRequestQueue.take(); this.pullMessage(pullRequest);mq根据PullRequest拉取任务执行完一次消息拉取任务之后,又将PullRequest对象放入到pullRequestQueue,第二个是在RebalancceImpl中创建。

PullMessageService只有在拿到PullRequest对象时才会执行拉取任务,看一下PullRequest的属性:

看下this.pullMessage的实现:

ProcessQueue实现机制:

ProcessQueue是MessageQueue在消费端的重现,快照。PullMessageService从消息服务器默认每次拉取32条消息,按消息的队列偏移量顺序存放在ProcessQueue中,PullMessageService之后将消息提交到消费者消费线程池,消息成功消费后从ProcessQueue中移除。

消息拉取基本流程

1.消息拉取客户端 消息拉取请求封装

2.消息服务器查找并返回消息

3.消息拉取客户端处理返回的消息

入口:DefaultMQPushConsumerImpl#pullMessage.

队列被丢弃,消费者被挂起,将拉取任务延迟1s再次放入到拉取任务队列中。

消息拉取流控,从消息消费数量与消费间隔两个维度进行控制。

顺序消息没有拿到锁不能进行消费

拉取该主题订阅信息,如果为空,结束本次消息拉取,关于该队列的下一次拉取任务延迟3s。

构建消息拉取系统标记:

调用pullAPIWrapper.pullKernelImpl方法与服务端交互,调用pullKernelImpl方法之前先了解一下其参数含义。

mq:从哪个消息消费队列拉取消息。

subExpression:消息过滤表达式。

expressionType:消息表达式类型

offset:消息拉取偏移量

maxNums:本次拉取最大消息条数,默认32条

sysFlag:拉取系统标记

commitOffset:当前MessageQueue的消费进度(内存中)

brokerSuspendMaxTimeMillis:消息拉取过程中允许Broker挂起时间。默认15秒

timeoutMills:消息拉取超时时间。

communicationMode:消息拉取模式,默认为异步拉取

pullCallback:从Broker拉取到消息后的回调方法。

根据brokerName,BrokerId从MQClientInstance中获取Broker地址,在整个MQ Broker的部署结构中,相同名称的Broker构成主从结构,其BrokerId会不一样,在每次拉取消息后,会给出一个建议,下次拉取从主节点还是从节点拉取。

如果消息过滤模式为类过滤,则需要根据主题名称,broker地址找到注册在Broker上的FilterServer地址,从FilterServer上拉取消息,否则从Broker上拉取消息。

根据RequestCode.PULL_MESSAGE找到Broker端处理消息拉取的入口:

PullMessageProcessor#processRequest:

1.根据订阅信息,构建消息过滤器。

2.调用MessageStore.getMessage查找消息:

根据主题名称与队列编号获取消息消费队列。 

消息偏移量异常情况下校对下一次拉取偏移量

根据消息队列偏移量从commitlog文件中查找消息。

根据PullResult填充ResponseHeader的nextBegainOffset,minOffset,maxOffset。

根据主从同步延迟,如果从节点数据包含下一次拉取的偏移量,设置下一次拉取任务的brokerId:

根据GetMessageResult编码转化成response。

如果commitlog标记可用并且当前节点为主节点,则更新消息消费进度。

最后整理一下返回结果的枚举:

在getMessgae之前的校验逻辑会返回下面这些code:

在getMessage之后会拿到getMessageStatus:

最后一getMessageStatus会转化成:

当最后的response返回给客户端的时候客户端是这么处理的:

下面内容详情见:https://www.cnblogs.com/lccsblog/p/12249265.html

同步消费:

除了下面几种其他直接抛出了异常:

异步消费:

也是先进行上面的过程,然后进行了回调:

最后再看下消息拉去之后的回调:

再看下callback:

可以看到除了FOUND之外NO_MATCHED_MSG和NO_NEW_MSG都会进行重试,OFFSET_ILLEGAL则drop了消费队列,继续看下FOUND:

下面内容,详情见:https://www.cnblogs.com/lccsblog/p/12262334.html

最终会回调我们创建consumer的时候注册的listener。

看下我们在listener中的返回会影响什么:

先是兼容了返回为空和超时的情况。

看下最后的processConsumeResult:

【mq读书笔记】消息拉取的相关教程结束。

《【mq读书笔记】消息拉取.doc》

下载本文的Word格式文档,以方便收藏与打印。