Memuat Model pada Vision Processing Unit (VPU) Mungkin membutuhkan waktu lebih lama daripada Memuat pada CPU

• Waktu untuk memuat model ke Vision Processing Unit (VPU) lebih lama daripada memuat model pada CPU.
• Kode menggunakan Python API: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

Untuk mengurangi waktu muat, muat model dari Blob, yang merupakan grafik terurai, untuk melewati tahap penguraian model.

1. Buat file Blob terlebih dahulu sebelum memuat menggunakan salah satu metode berikut:
   • Buat Blob menggunakan alat myriad_compile di baris perintah:
     1. Alat yang telah dikompilasi tersedia di Intel® Distribution of OpenVINO™ toolkit. Anda juga dapat mengkloning repo toolkit OpenVINO sumber terbuka dan membangunnya .
     2. Menghasilkan Gumpalan.
        Di jalur inference-engine/bin/intel64/Release, jalankan perintah sebagai berikut: ./myriad_compile -m <model_name>.xml -o <output filename>
2. Impor Blob dalam kode Anda menggunakan API Inference Engine Core: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

Ada dua proses internal saat memuat model pada VPU:

1. Grafik parse
2. Alokasikan grafik

Selama proses pemuatan, grafik VPU yang diuraikan dikirim ke perangkat keras, tahap demi tahap, oleh xlink dari host.

Memuat model dari blob dapat mengurangi banyak waktu untuk beberapa model, tetapi mungkin tidak berfungsi untuk semua model.

Selain ukuran model, waktu pemuatan tergantung pada jenis lapisan, ukuran data input, dan sebagainya.

Plugin HDDL lebih efisien daripada plugin MYRIAD saat memuat model dari Blob.

Ikuti langkah-langkah berikut untuk mengaktifkan plugin HDDL alih-alih plugin MYRIAD di Intel® Neural Compute Stick 2:

1. Atur autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.
2. Atur autoboot_settings:total_device_num to 1.
3. Mulai hddldaemon.