Mengapa Latensi dan Throughput Lebih Tinggi Saat Menginferensi model dengan OpenVINO™ Benchmark pada GPU Dibandingkan dengan CPU?

• Model yang sama dengan OpenVINO™ Benchmark pada CPU dan GPU:
  benchmark_app.exe -m model.xml -d CPU
  benchmark_app.exe -m model.xml -d CPU
• Latensi dan throughput yang dihasilkan pada GPU lebih tinggi dibandingkan pada CPU.
• Tidak dapat menentukan mengapa latensi dan throughput inferensi pada GPU lebih tinggi dari CPU karena latensi rendah menghasilkan throughput tinggi.

Latensi mengukur waktu inferensi yang diperlukan untuk memproses satu input jika inferensi sinkron.

Saat menjalankan OpenVINO™ Benchmark dengan parameter bawaan, hal ini merupakan inferensi dalam mode asynchronous. Oleh karena itu, latensi yang dihasilkan mengukur total waktu inferensi yang diperlukan untuk memproses jumlah permintaan inferensi.

Selain itu, saat menjalankan Aplikasi Benchmark di CPU dengan parameter bawaan, 4 permintaan inferensi dibuat sedangkan 16 permintaan inferensi dibuat jika menjalankan Aplikasi Benchmark pada GPU dengan parameter bawaan. Oleh karena itu, latensi inferensi pada GPU yang dihasilkan lebih tinggi dibandingkan pada CPU.

Tentukan jumlah permintaan inferensi yang sama saat menjalankan Aplikasi Benchmark pada CPU dan GPU untuk perbandingan yang adil:
benchmark_app.exe -m model.xml -d CPU -nireq 4
benchmark_app.exe -m model.xml -d CPU -nireq 4