Konversi Model INT8 menjadi Representasi Menengah (IR)

Dalam paragraf terakhir Panduan Optimasi Presisi Rendah, disebutkan pelatihan sadar kuantisasi. Dikatakan, hal ini memungkinkan pengguna untuk mendapatkan model optimal yang akurat yang dapat dikonversi ke IR. Namun, tidak ada detail lain yang disediakan.

Pelatihan Kuantisasi-Sadar, menggunakan OpenVINO™ kerangka kerja pelatihan yang kompatibel, mendukung model yang ditulis pada TensorFlow QAT atau PyTorch NNCF, dengan ekstensi optimisasi.

NNCF adalah kerangka kerja berbasis PyTorch yang mendukung beragam model Deep Learning untuk berbagai kasus penggunaan. Ini juga menerapkan pelatihan sadar kuantisasi yang mendukung mode dan pengaturan kuantisasi yang berbeda, serta mendukung berbagai algoritma kompresi, termasuk Kuantisasi, Binarisasi, Sparitas, dan Pemangkasan Filter.

Ketika penyempurnaan selesai, model optimal yang akurat dapat diekspor ke format ONNX, yang kemudian dapat digunakan oleh Pengoptimal Model untuk menghasilkan file Intermediate Representation (IR) dan kemudian diinferensikan dengan OpenVINO™ Inference Engine.

Lihat artikel berikut:

Pipeline Presisi Rendah yang Disempurnakan untuk Mempercepat Inferensi dengan OpenVINO Toolkit

Memperkenalkan Add-on Pelatihan untuk kit peralatan OpenVINO™: Kerangka Kerja Kompresi Jaringan Neural