Langkah cepat untuk meningkatkan waktu pemuatan model pada GPU
Memuat Intermediate Representation (IR) model input ke GPU memerlukan waktu lebih lama dibandingkan memuat model yang sama ke CPU.
Buat direktori cl_cache secara manual di direktori kerja aplikasi Anda.
Driver akan menggunakan direktori ini untuk menyimpan representasi biner dari kernel yang dikompilasi. Ini akan berfungsi pada semua OK YANG didukung.
Lihat artikel ini untuk informasi lebih lanjut tentang pengelolaan cl_cache.
Memuat model input Anda dalam format Intermediate Representation (IR) ke GPU memerlukan waktu lebih lama daripada memuat model yang sama ke CPU karena stack GPU berdasarkan OpenCL*. Waktu pemuatan tergantung pada waktu kompilasi kernel OpenCL*.
Saat Anda mengaktifkan cl_cache, pertama kali Anda memuat model, masih memerlukan waktu lama karena kernel OpenCL* akan terkompile. Namun, setiap muatan berikutnya dari model yang sama akan jauh lebih cepat.