ID Artikel: 000059815 Jenis Konten: Informasi & Dokumentasi Produk Terakhir Ditinjau: 06/06/2023

Bagaimana Dua Gambar dapat Diinferensikan dalam Batch toolkit OpenVINO™ yang sama?

BUILT IN - ARTICLE INTRO SECOND COMPONENT
Ringkasan

Inferensi batch menggunakan kit peralatan OpenVINO™

Deskripsi

Tidak dapat menjalankan inferensi untuk dua gambar input dalam kit peralatan OpenVINO™.

Resolusi

Lihat Menggunakan Inferensi Bentuk dan catat batasan penggunaan batch.

Open Model Zoo smart_classroom_demo menunjukkan batching dinamis saat memproses beberapa wajah yang terdeteksi sebelumnya. Lihat fungsi CnnDLSDKBase::InferBatch dalam demo, yang terletak di smart_classroom_demo/cpp/src/cnn.cpp, baris 51.

  • Ketika batch diaktifkan dalam model, buffer memori blob input akan dialokasikan untuk memiliki ruang untuk semua batch gambar, dan data dalam blob input untuk setiap gambar perlu diisi.
  • Dalam loop over num_imgs, fungsi tambahan matU8ToBlob mengisi blob input dengan data untuk current_batch_size gambar, kemudian mengatur ukuran batch untuk permintaan infer dan inferensi run.

for (size_t batch_i = 0; batch_i < num_imgs; batch_i += batch_size) {
const size_t current_batch_size = std::min(batch_size, num_imgs - batch_i);
for (size_t b = 0; b < current_batch_size; b++) {
matU8ToBlob<uint8_t>(frames[batch_i + b], input, b);

}

if (config_.max_batch_size != 1)
infer_request_.SetBatch(current_batch_size); infer_request_.Infer();

Informasi tambahan

Menggunakan Dynamic Batching

Produk Terkait

Artikel ini berlaku untuk 2 produk

Isi halaman ini adalah kombinasi terjemahan manusia dan komputer dari konten berbahasa Inggris. Konten ini diberikan hanya untuk kenyamanan Anda serta sebagai informasi umum dan tidak bisa dianggap sebagai lengkap atau akurat. Jika terdapat kontradiksi antara versi bahasa Inggris halaman ini dan terjemahannya, versi bahasa Inggris akan didahulukan. Lihat versi bahasa Inggris halaman ini.