Bagaimana Dua Gambar dapat Diinferensikan dalam Batch toolkit OpenVINO™ yang sama?

Tidak dapat menjalankan inferensi untuk dua gambar input dalam kit peralatan OpenVINO™.

Lihat Menggunakan Inferensi Bentuk dan catat batasan penggunaan batch.

Open Model Zoo smart_classroom_demo menunjukkan batching dinamis saat memproses beberapa wajah yang terdeteksi sebelumnya. Lihat fungsi CnnDLSDKBase::InferBatch dalam demo, yang terletak di smart_classroom_demo/cpp/src/cnn.cpp, baris 51.

• Ketika batch diaktifkan dalam model, buffer memori blob input akan dialokasikan untuk memiliki ruang untuk semua batch gambar, dan data dalam blob input untuk setiap gambar perlu diisi.
• Dalam loop over num_imgs, fungsi tambahan matU8ToBlob mengisi blob input dengan data untuk current_batch_size gambar, kemudian mengatur ukuran batch untuk permintaan infer dan inferensi run.

for (size_t batch_i = 0; batch_i < num_imgs; batch_i += batch_size) {
const size_t current_batch_size = std::min(batch_size, num_imgs - batch_i);
for (size_t b = 0; b < current_batch_size; b++) {
matU8ToBlob<uint8_t>(frames[batch_i + b], input, b);
}

if (config_.max_batch_size != 1)
infer_request_.SetBatch(current_batch_size); infer_request_.Infer();

Menggunakan Dynamic Batching