Kafka Test 3 - multi topic (每個topic負責1個Producer和1個Consumer)

情境

• 每個topic負責1個Producer和1個Consumer, 模擬多個客戶各自有自己資料流的情境, 每個客戶有1個producer, 1個topic, 1個consumer

• 每個topic的partition為6, 跟之前的測試一樣

測試結果

2~60 clients

從測試結果來看, 似乎可以承受更高的client連接, 所以接著要測到200 client連接

2~200 clients

Note

• 多client時會遇到__consumer_offsets partition傾斜的問題, 要調整zookeeper.session.timeout.ms

• 上面有測kafka cluster資源用量, 是去算區間內的平均值, 可能不是那麼精準反映實際狀況, 更準確的應該要看下面的趨勢圖

  • broker 記憶體消耗並非穩定狀態, 不管幾個client數, 都會像下圖一樣, 盡快利用到所有的記憶體空間

  • cpu用量則相對地呈現穩定的趨勢

延伸測項

• partition降為1

  • 測40/80/120/160/200

• replicas * 3