思路
每隔一段时间(比如说10秒)统计一次某topic的所有partition的最大offset值之和，这便是该topic的message总数。
然后除以间隔时间就可以粗略但方便得出 某topic的数据增长速率(即相应程序写kafka的速率)
Kafka常用topic操作命令汇总 中有统计最大offset命令
# 最大offset
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test_topic --time -1
shell实现
注意：
- 第一次打印出来的speed请忽略(为了shell更加简单方便没有特殊处理第1次统计的情况)
该脚本需要放入到kafka程序安装根目录，或者把bin/kafka-run-class.sh文件写成绝对路径
#!/bin/sh
brokers="localhost:9092"
topic="test_topic"
last=0
now=0
speed=0
while :
do
echo "-------------"
last=$now
now=$(bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ${brokers} --topic ${topic} --time -1 | awk -F ":" '{sum+=$NF} END {print sum}')
let speed=(now-last)/10
echo "now is $now, speed is $speed"
sleep 10
done
