Kafka Test 5 - User數量上限

目的

在固定資源下, 找出Cluster能負荷的user數量上限, 每個client(consumer/producer)的throughput不能離設定值太多

方法

• 一個user下會有兩個client, 1個是producre, 1個是consumer, 共用同一個topic

  • user的限流還有細分producer/consumer, ex. 每個user下的producer流量設1MB/s, 該值是讓user下的所有producer去分, consumer不會去分這1MB/s

• producer quota: 每個user 1MB/s

• consumer quota: 每個user 2MB/s

• 此測試使用的參數

  • broker參數

    • "offsets.commit.timeout.ms": "30000"

  • producer參數

    • request.timeout.ms=1800000

  • consumer參數

    • session.timeout.ms=80000

    • heartbeat.interval.ms=60000

    • --timeout 1800000

結果

大資源: 12C,48Gi

6 partitions, 1 replicas/topic

6 partitions, 3 replicas/topic

小資源: 8C,32Gi

6 partitions, 1 replicas/topic

6 partitions, 3 replicas/topic

米你資源: 4C, 16Gi

4C 16Gi

• 1U

  • P:1.01

  • C:0.9

• 10 U

  • P:0.97

  • C:0.9

• 15U

  • P:0.93

  • c:0.88

• 20U

  • p:0.88

  • c:0.84

• 30U

  • P:0.77

  • C:0.7

Note

• topic replicas設1時, 兩種規格數據差不多, 但設3時, 大資源版本throughput比小資源版本好, 且過程中offset相關warning/error在大資源版本出現次數較少