Performa Inferensi Lebih Lambat pada Intel® Neural Compute Stick 2 (Intel® NCS2) Dibandingkan CPU

• Prosesor Intel® Core™ i7 yang digunakan untuk menjalankan benchmark_app.py dengan -m model.xml, dengan input acak yang dihasilkan
• Performa pada NCS2 lebih lambat dibandingkan CPU:

  Untuk NCS2:
  [ INFO ] First inference took 33.88 ms
  [Step 11/11] Dumping statistics report
  Count: 2596 iterations
  Duration: 60141.63 ms
  Latency: 92.60 ms
  Throughput: 5525.09 FPS

  Untuk CPU:
  [ INFO ] First inference took 17.07 ms
  [Step 11/11] Dumping statistics report
  Count: 148124 iterations
  Duration: 60001.79 ms
  Latency: 1.61 ms
  Throughput: 315988.43 FPS

Kinerja CPU diharapkan lebih baik dibandingkan dengan Intel® NCS2 karena CPU memiliki daya komputasi yang lebih besar.

Intel® NCS2 adalah perangkat akselerator yang akan membantu dalam situasi tertentu, terutama ketika daya komputasi tambahan diperlukan.

Selain itu, CPU memerlukan format model FP32 sementara CPU Intel® NCS2 memerlukan format model FP16. FP16 mungkin memiliki Kesalahan Kuantisasi karena diperas dari model presisi penuh untuk membuatnya lebih kecil. Ini akan mempengaruhi akurasi dan kinerja.

Performa berarti seberapa cepat model diterapkan dengan dua metrik utama: latensi dan throughput.

Dalam OpenVINO™, ada dua pendekatan untuk meningkatkan kinerja:

Selama pengembangan: Alat Optimasi Pasca Pelatihan (POT), Neural Network Compression Framework (NNCF), Pengoptimal Model.

Selama penerapan: menyetel parameter inferensi dan mengoptimalkan eksekusi model.

Dimungkinkan untuk menggabungkan kedua pendekatan tersebut.

Hasil Benchmark Performa OpenVINO™

Pilih FP16, FP32, atau int8 untuk Model Deep Learning

Panduan Pengoptimalan Performa