Plugin Heterogen dengan Intel® Neural Compute Stick 2
Heterogeneous Plugin (HETERO) memungkinkan inferensi komputasi pada satu jaringan menggunakan beberapa perangkat. Anda mungkin ingin mengeksekusi jaringan dalam mode heterogen untuk:
- Manfaatkan kehebatan akselerator, termasuk menghitung bagian jaringan terberat pada akselerator, dan mengeksekusi lapisan yang tidak didukung pada perangkat fallback seperti CPU.
- Manfaatkan semua perangkat keras yang tersedia dengan lebih efisien selama satu inferensi.
Untuk menggunakan Plugin Heterogen dan menjalankan inferensi pada Intel® Neural Compute Stick 2 Anda menggunakan aplikasi Benchmark OpenVINO™, ikuti langkah-langkah berikut:
- Buat sampel C++ dengan menjalankan buildsamples.sh (untuk Linux) atau build_samples_msvc.bat (untuk Windows) yang ditemukan di direktori inference_engine/samples .
- Gunakan benchmark_app untuk menguji dan mengonfigurasi Plugin Hetero dengan perangkat yang ingin Anda gunakan. Misalnya, menjalankan -d HETERO:GPU,CPU akan memberikan prioritas ke GPU, sementara CPU akan menjadi perangkat fallback.
Temukan informasi lebih lanjut tentang Plugin Heterogen dan Toolkit OpenVINO.