RD Newbie Guide
  • 專案介紹
  • WISE-PaaS
  • WISE-PaaS DataHub
  • WISE-PaaS Notification
  • EdgeX
  • Notification API 開發入門
  • 開發環境
    • Golang
    • Docker
    • Node simulator manual
    • Node simulator
    • Node.js
    • kubernetes
    • 如何在helm chart加上環境變數
    • 如何Release Datahub
    • 如何Release Notification
    • 手動佈署已release之版本
    • [開發階段使用] datahub k8s deploy
    • [開發階段使用] notification k8s deploy
    • Publish maven project to JCenter
    • WISE-PaaS 4.0 平台應用相關資源
  • 相關資源
  • Kafka
    • Kafka開發日誌
    • Kafka參數筆記
    • Kafka Deploy
    • Kafka Performance Test
      • Kafka Test 1 - 多client對於broker的影響
      • Kafka Test 2 - Broker資源對於Client Throughput的影響
      • Kafka Test 3 - multi topic (每個topic負責1個Producer和1個Consumer)
      • Kafka Test 4 - 限流機制實測 (Quotas)
      • Kafka Test 5 - User數量上限
      • Kafka Test 6 - 穩定度測試(長時間)
      • Kafka Test 7 - v-1.0.0測試
    • 在BM站點啟動多個LB Broker並搭配域名
  • CI/CD
    • k8s FAQ
Powered by GitBook
On this page
  • 目標
  • 測試方法
  • 測試結果
  • cpu:6Core (2 * 3), memory: 4.5G (1.5 * 3) kenny預設資源
  • cpu:6Core (2 * 3), memory: 24G (8 * 3)
  • Conclusion

Was this helpful?

  1. Kafka
  2. Kafka Performance Test

Kafka Test 2 - Broker資源對於Client Throughput的影響

PreviousKafka Test 1 - 多client對於broker的影響NextKafka Test 3 - multi topic (每個topic負責1個Producer和1個Consumer)

Last updated 4 years ago

Was this helpful?

目標

  • Kafka Tset 1 裡發現當使用Kenny版本預設資源(cpu:6Core, memory: 4.5G)時, 在60 client連接時效能會很低, , 同時也發現kafka cluster的memory處於用量滿載情形, 所以要驗證下提高memory資源是否能有效增加每個client的效能

測試方法

  • 把kafka資源增加, 再把Test1內容測一次

  • 原本資源是

    • cpu:6Core (2 * 3), memory: 4.5G (1.5 * 3)

  • 提高後的資源是

    • cpu:6Core (2 * 3), memory: 24G (8 * 3)

  • 依照cpu:memory=1:4的方式調整

測試結果

cpu:6Core (2 * 3), memory: 4.5G (1.5 * 3) kenny預設資源

cpu:6Core (2 * 3), memory: 24G (8 * 3)

Conclusion

  • Kafak broker的memory提高後, 相同情境下的各項指標明顯變好

  • 如果kafka broker要套用此實驗配額, 總部署資源 (包含zk/manger/exporter....)如下

    • CPU: 11200m, memory: 32G, 如果要配成1:4, 那就是CPU: 11200m, memory: 44G,