RD Newbie Guide
  • 專案介紹
  • WISE-PaaS
  • WISE-PaaS DataHub
  • WISE-PaaS Notification
  • EdgeX
  • Notification API 開發入門
  • 開發環境
    • Golang
    • Docker
    • Node simulator manual
    • Node simulator
    • Node.js
    • kubernetes
    • 如何在helm chart加上環境變數
    • 如何Release Datahub
    • 如何Release Notification
    • 手動佈署已release之版本
    • [開發階段使用] datahub k8s deploy
    • [開發階段使用] notification k8s deploy
    • Publish maven project to JCenter
    • WISE-PaaS 4.0 平台應用相關資源
  • 相關資源
  • Kafka
    • Kafka開發日誌
    • Kafka參數筆記
    • Kafka Deploy
    • Kafka Performance Test
      • Kafka Test 1 - 多client對於broker的影響
      • Kafka Test 2 - Broker資源對於Client Throughput的影響
      • Kafka Test 3 - multi topic (每個topic負責1個Producer和1個Consumer)
      • Kafka Test 4 - 限流機制實測 (Quotas)
      • Kafka Test 5 - User數量上限
      • Kafka Test 6 - 穩定度測試(長時間)
      • Kafka Test 7 - v-1.0.0測試
    • 在BM站點啟動多個LB Broker並搭配域名
  • CI/CD
    • k8s FAQ
Powered by GitBook
On this page
  • 情境
  • 測試結果
  • 2~60 clients
  • 2~200 clients
  • Note
  • 延伸測項

Was this helpful?

  1. Kafka
  2. Kafka Performance Test

Kafka Test 3 - multi topic (每個topic負責1個Producer和1個Consumer)

PreviousKafka Test 2 - Broker資源對於Client Throughput的影響NextKafka Test 4 - 限流機制實測 (Quotas)

Last updated 4 years ago

Was this helpful?

情境

  • 每個topic負責1個Producer和1個Consumer, 模擬多個客戶各自有自己資料流的情境, 每個客戶有1個producer, 1個topic, 1個consumer

  • 每個topic的partition為6, 跟之前的測試一樣

測試結果

2~60 clients

從測試結果來看, 似乎可以承受更高的client連接, 所以接著要測到200 client連接

2~200 clients

Note

  • 多client時會遇到__consumer_offsets partition傾斜的問題, 要調整zookeeper.session.timeout.ms

  • 上面有測kafka cluster資源用量, 是去算區間內的平均值, 可能不是那麼精準反映實際狀況, 更準確的應該要看下面的趨勢圖

    • broker 記憶體消耗並非穩定狀態, 不管幾個client數, 都會像下圖一樣, 盡快利用到所有的記憶體空間

    • cpu用量則相對地呈現穩定的趨勢

延伸測項

  • partition降為1

    • 測40/80/120/160/200

  • replicas * 3