Mencapai Performa Kerja Bert-Large Inference Hingga 64% Lebih Baik dengan Memilih Instans AWS M6i yang Dilengkapi Prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-3

BERT-Besar:

  • Dapatkan performa BERT-Large hingga 64% lebih baik pada instans m6i.16xlarge 64-vCPU yang menampilkan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 dibandingkan instans m5n.16xlarge.

  • Memproses throughput BERT-Large hingga 40% lebih tinggi pada instans m6i.8xlarge 32-vCPU yang dilengkapi prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 dibandingkan instans m5n.8xlarge.

author-image

Oleh

Dalam Berbagai Ukuran Instans, Instans M6i Melakukan Operasi Inferensi Lebih Banyak per Detik Dibandingkan Instans M5n dengan Prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2

Perusahaan menggunakan beban kerja inferensi pembelajaran mesin bahasa alami untuk berbagai aplikasi bisnis, seperti chatbot yang menganalisis teks yang diketik oleh pelanggan dan pengguna lainnya. Jenis pekerjaan ini memberikan tuntutan besar pada sumber daya komputasi, sehingga sangat penting untuk memilih instans cloud berperforma tinggi.

BERT adalah model natural language processing (NLP) tujuan umum yang kami pilih untuk mengukur performa dua jenis instans cloud EC2 Amazon Web Services (AWS). Kami menguji dua ukuran instans M6i dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 dan instans M5n dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2. Kami menemukan bahwa baik instans 32 vCPU dan 64 vCPU M6i dengan prosesor Intel Xeon Generasi ke-3 yang Dapat Diskalakan mengungguli rekan M5n mereka. Berdasarkan temuan ini, bisnis dapat memberikan pengalaman yang lebih cepat kepada pengguna mereka dengan memilih instans M6i.

Instans M6i dengan 64 vCPU

Untuk membandingkan performa inferensi BERT-Large dari dua seri instans AWS, kami menggunakan kerangka kerja TensorFlow. Seperti yang ditunjukkan pada Gambar 1, instans m6i.16xlarge 64-vCPU yang didukung oleh prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 menghadirkan throughput 64% lebih tinggi dibandingkan instans m5n.16xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2.

Gambar 1. Performa inferensi BERT-Large yang dicapai oleh instans m6i.16xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 dan dengan instans m5n.16xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2. Pengujian menggunakan presisi INT8, ukuran batch 1, dan panjang urutan 384. Semakin tinggi semakin baik.

Instans M6i dengan 32 vCPU

Seperti yang ditunjukkan pada Gambar 2, instans m6i.8xlarge 32-vCPU yang didukung oleh prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-3 menghadirkan throughput 40% lebih tinggi dibandingkan instans m5n.8xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2.

Gambar 2. Performa inferensi BERT-Large yang dicapai oleh instans m6i.8xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3 dan dengan instans m5n.8xlarge dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2. Pengujian menggunakan presisi INT8, ukuran batch 1, dan panjang urutan 384. Semakin tinggi semakin baik.

Kesimpulan

Kami menguji performa inferensi pemrosesan bahasa natural BERT-Large dari dua seri instans AWS: Instans M6i yang dilengkapi prosesor Intel Xeon Scalable Generasi ke-3 dan instans M5n yang dilengkapi prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2. Pada dua ukuran berbeda, instans M6i mengungguli instans M5n sebanyak 64%. Untuk memberikan pengalaman yang lebih cepat kepada pelanggan dan pengguna lain, jalankan beban kerja inferensi NLP Anda pada instans Amazon M6i dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3.

Pelajari lebih lanjut

Untuk mulai menjalankan beban kerja inferensi NLP Anda pada instans Amazon M6i dengan prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-3, kunjungi https://aws.amazon.com/ec2/instance-types/m6i/.

Pengujian VM tunggal oleh Intel pada 30/11/2021. Semua VM dikonfigurasi dengan Ubuntu 20.04 LTS, 5.11.0-1022-aws, Penyimpanan EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, containerd=1.5.5, model BERT, ukuran batch 1, panjang urutan 384, presisi INT8. Detail instans: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8375C @ 2,90 GHz, memori DDR4 total 128 GB; m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8259CL @ 2,50 GHz, memori DDR4 total 128 GB; M6i.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8375C @ 2,90 GHz, memori DDR4 total 256 GB; m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8259CL @ 2,50 GHz, memori DDR4 total 256 GB.

Isi halaman ini adalah kombinasi terjemahan manusia dan komputer dari konten berbahasa Inggris. Konten ini diberikan hanya untuk kenyamanan Anda serta sebagai informasi umum dan tidak bisa dianggap sebagai lengkap atau akurat. Jika terdapat kontradiksi antara versi bahasa Inggris halaman ini dan terjemahannya, versi bahasa Inggris akan didahulukan. Lihat versi bahasa Inggris halaman ini.