Plugin Heterogen dengan Intel® Neural Compute Stick 2

Dokumentasi

Instal & Pengaturan

000055368

07/09/2022

Heterogeneous Plugin (HETERO) memungkinkan inferensi komputasi pada satu jaringan menggunakan beberapa perangkat. Anda mungkin ingin mengeksekusi jaringan dalam mode heterogen untuk:

  • Manfaatkan kehebatan akselerator, termasuk menghitung bagian jaringan terberat pada akselerator, dan mengeksekusi lapisan yang tidak didukung pada perangkat fallback seperti CPU.
  • Manfaatkan semua perangkat keras yang tersedia dengan lebih efisien selama satu inferensi.

Untuk menggunakan Plugin Heterogen dan menjalankan inferensi pada Intel® Neural Compute Stick 2 Anda menggunakan aplikasi Benchmark OpenVINO™, ikuti langkah-langkah berikut:

  1. Buat sampel C++ dengan menjalankan buildsamples.sh (untuk Linux) atau build_samples_msvc.bat (untuk Windows) yang ditemukan di direktori inference_engine/samples .
  2. Gunakan benchmark_app untuk menguji dan mengonfigurasi Plugin Hetero dengan perangkat yang ingin Anda gunakan. Misalnya, menjalankan -d HETERO:GPU,CPU akan memberikan prioritas ke GPU, sementara CPU akan menjadi perangkat fallback.

Temukan informasi lebih lanjut tentang Plugin Heterogen dan Toolkit OpenVINO.