Kafka Test 2 - Broker資源對於Client Throughput的影響

目標

• Kafka Tset 1 裡發現當使用Kenny版本預設資源(cpu:6Core, memory: 4.5G)時, 在60 client連接時效能會很低, , 同時也發現kafka cluster的memory處於用量滿載情形, 所以要驗證下提高memory資源是否能有效增加每個client的效能

測試方法

• 把kafka資源增加, 再把Test1內容測一次

• 原本資源是

  • cpu:6Core (2 * 3), memory: 4.5G (1.5 * 3)

• 提高後的資源是

  • cpu:6Core (2 * 3), memory: 24G (8 * 3)

• 依照cpu:memory=1:4的方式調整

測試結果

cpu:6Core (2 * 3), memory: 4.5G (1.5 * 3) kenny預設資源

cpu:6Core (2 * 3), memory: 24G (8 * 3)

Conclusion

• Kafak broker的memory提高後, 相同情境下的各項指標明顯變好

• 如果kafka broker要套用此實驗配額, 總部署資源 (包含zk/manger/exporter....)如下

  • CPU: 11200m, memory: 32G, 如果要配成1:4, 那就是CPU: 11200m, memory: 44G,