Ringkasan
Langkah cepat untuk mengikat beberapa proses inferensi ke CPU yang berbeda
Deskripsi
Waktu inferensi dua kali lipat saat menjalankan dua proses untuk menyimpulkan model yang sama.
- Menggunakan OpenVINO™ untuk menyimpulkan model.
- Waktu inferensi sekitar 300 ms ketika menjalankan satu proses.
- Saat menggunakan dua proses, waktu inferensi untuk kedua proses menjadi 600 mdtk.
Resolusi
- Tambahkan perintah berikut di skrip main.cpp .
ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- Buat demo.
Informasi tambahan
- Nilai bawaan dari konfigurasi KEY_CPU_BIND_THREAD adalah YES.
- Pada Linux*, ini menyebabkan kedua proses untuk mengikat ke inti CPU yang sama dan menggandakan waktu inferensi.
- Mengatur konfigurasi KEY_CPU_BIND_THREAD ke TANPA unbinds inferensi thread dari inti CPU pada Windows* dan Linux*.
Lihat Parameter Konfigurasi yang Didukung untuk informasi lebih lanjut tentang parameter konfigurasi untuk plugin CPU.