Seseorang berdiri di ujung deretan server dan melihat ke titik data biru yang terang yang disorot ke dinding di kejauhan

Apa itu Intel® Advanced Matrix Extensions (Intel® AMX)?

Perluas, sederhanakan, dan akselerasikan kemampuan AI Anda untuk memenuhi tuntutan komputasi beban kerja deep learning dengan akselerator terintegrasi ini pada generasi terbaru prosesor Intel® Xeon® yang Dapat Diskalakan.1

Manfaat Utama

  • Intel® AMX adalah bagian dari Intel® AI Engines yang tersedia pada generasi terbaru prosesor Intel® Xeon® yang Dapat Diskalakan.

  • Intel® AMX mengakselerasikan pelatihan deep learning dan beban kerja inferensi serta meminimalkan kebutuhan perangkat keras khusus tambahan.

  • Alat dan sumber daya developer Intel® membantu mempermudah untuk memanfaatkan Intel® AMX.

author-image

Oleh

Akselerasikan pelatihan deep learning dan beban kerja inferensi Anda yang menuntut dengan memanfaatkan Intel® Advanced Matrix Extensions (Intel® AMX), akselerator terintegrasi pada generasi terbaru prosesor Intel® Xeon® yang Dapat Diskalakan. Pelajari cara mengaktifkan Intel® AMX pada CPU Anda dengan panduan instruksi langkah demi langkah sehingga Anda dapat mulai mengoptimalkan alur AI Anda, meningkatkan efisiensi, memaksimalkan nilai, dan mengurangi TCO di organisasi Anda.

Prosesor Intel® Xeon® yang Dapat Diskalakan dan Intel® Advanced Matrix Extensions

Beban kerja deep learning, seperti hal-hal yang mengandalkan AI generatif, model bahasa besar (LLM), dan visi komputer, dapat bersifat sangat intensif komputasi, yang memerlukan tingkat performa yang tinggi, dan sering kali memerlukan perangkat keras khusus tambahan untuk memastikan penerapan AI yang sukses. Biaya yang terkait dari persyaratan ini dapat meningkat dengan cepat, dan menambahkan solusi perangkat keras diskrit dapat menciptakan lapisan kompleksitas yang tidak perlu serta masalah kompatibilitas.

Untuk membantu membuat beban kerja deep learning Anda lebih efisien dan hemat biaya serta lebih mudah untuk dilatih dan diterapkan, Intel® AMX pada prosesor Intel® Xeon® yang Dapat Diskalakan menghadirkan akselerasi untuk inferensi dan pelatihan sekaligus meminimalkan kebutuhan perangkat keras khusus.

Intel® AMX adalah salah satu dari dua Intel® AI Engines yang terintegrasi ke dalam prosesor Intel® Xeon® yang Dapat Diskalakan yang dapat membantu Anda memaksimalkan CPU untuk mendukung pelatihan AI dan beban kerja inferensi skala besar guna mendapatkan manfaat yang mencakup peningkatan efisiensi, pengurangan biaya inferensi, pelatihan, dan penerapan, serta menurunkan total biaya kepemilikan (TCO). Sebagai akselerator bawaan yang berada pada setiap inti CPU dan ditempatkan di dekat memori sistem, Intel® AMX sering kali lebih sederhana untuk digunakan dibandingkan akselerator diskrit, sehingga menghasilkan waktu yang lebih cepat untuk menciptakan nilai.

Meskipun ada banyak cara organisasi dapat mendukung beban kerja AI tingkat lanjut, suatu fondasi berbasis prosesor Intel® Xeon® yang Dapat Diskalakan dengan akselerator AI yang canggih dan terintegrasi dapat membantu Anda mencapai sasaran performa pelatihan dan inferensi Anda sekaligus mengurangi kompleksitas sistem dan penerapan serta biaya operasional untuk pengembalian bisnis yang lebih besar.

Cara Kerja Intel® AMX

Intel® AMX adalah blok perangkat keras khusus yang ditemukan pada inti prosesor Intel® Xeon® yang Dapat Diskalakan yang membantu mengoptimalkan dan mengakselerasikan pelatihan deep learning dan beban kerja inferensi yang mengandalkan matematika matriks.

Intel® AMX memungkinkan beban kerja AI berjalan di CPU, bukan memindahkannya ke akselerator diskrit, memberikan peningkatan performa yang signifikan.2 Arsitekturnya mendukung tipe data BF16 (pelatihan/inferensi) dan int8 (inferensi) serta mencakup dua komponen utama:

  • Tiles: Ini terdiri dari delapan register dua dimensi, yang masing-masing berukuran 1 kilobita, yang menyimpan potongan data besar.
  • Tile Matrix Multiplication (TMUL): TMUL adalah mesin akselerator yang melekat pada tile yang melakukan komputasi multiplikasi matriks untuk AI.

Secara bersama-sama, komponen-komponen ini memungkinkan Intel® AMX untuk menyimpan lebih banyak data di setiap inti dan menghitung matriks yang lebih besar dalam satu operasi. Selain itu, Intel® AMX dirancang agar sepenuhnya dapat diperluas dan diskalakan.

Manfaat Intel® AMX untuk Hasil Bisnis yang Lebih Baik

Intel® AMX memungkinkan prosesor Intel® Xeon® yang Dapat Diskalakan untuk meningkatkan performa pelatihan deep learning dan beban kerja inferensi dengan menyeimbangkan inferensi, kasus penggunaan yang paling menonjol untuk CPU dalam aplikasi AI, dengan kemampuan yang lebih untuk pelatihan.

Banyak pelanggan Intel memanfaatkan Intel® AMX untuk memungkinkan hasil yang lebih baik bagi organisasi mereka. Dengan prosesor Intel® Xeon® generasi ke-5, pelanggan dapat merasakan pelatihan dan inferensi hingga 14x lebih baik dibandingkan prosesor Intel® Xeon® generasi ke-3.3

Manfaat utama Intel® AMX meliputi:

  • Performa semakin meningkat
    Akselerasi berbasis CPU dapat meningkatkan efisiensi pemanfaatan daya dan sumber daya, yang memberi Anda performa yang lebih baik dengan harga yang sama.
    Misalnya, Intel® Xeon® Platinum 8592+ generasi ke-5 dengan Intel® AMX BF16 telah menunjukkan performa inferensi pengenalan ucapan real-time (RNN-T) hingga 10,7x lebih tinggi dan performa/watt 7,9x lebih tinggi dibandingkan prosesor Intel® Xeon® generasi ke-3 dengan FP32.4
  • Penurunan biaya total kepemilikan (TCO)
    Prosesor Intel® Xeon® yang Dapat Diskalakan dengan Intel® AMX memungkinkan berbagai peningkatan efisiensi yang membantu mengurangi biaya, menurunkan TCO, dan memajukan sasaran keberlanjutan.
    Sebagai akselerator terintegrasi pada prosesor Intel® Xeon® yang Dapat Diskalakan yang mungkin sudah Anda miliki, Intel® AMX memungkinkan Anda untuk memaksimalkan investasi yang telah Anda lakukan dan mendapatkan lebih banyak dari CPU Anda, menghilangkan biaya dan kompleksitas yang biasanya terkait dengan penambahan akselerator diskrit.
    Prosesor Intel® Xeon® yang Dapat Diskalakan dengan Intel® AMX juga dapat menyediakan arsitektur server yang lebih hemat biaya dibandingkan opsi lain yang tersedia, sehingga menghadirkan manfaat pengurangan daya dan emisi.
    Dalam perbandingan dengan server AMD Genoa 9654, prosesor Intel® Xeon® Platinum Generasi ke-5 dengan Intel® AMX menghadirkan performa inferensi batch Pemrosesan Bahasa Alami (BERT-Large) hingga 2,69x lebih tinggi dan performa per watt 2,96x lebih tinggi.5
  • Pengurangan waktu pengembangan
    Untuk menyederhanakan proses pengembangan aplikasi deep learning, kami bekerja sama dengan komunitas sumber terbuka, termasuk proyek TensorFlow dan PyTorch, untuk mengoptimalkan kerangka kerja untuk perangkat keras Intel®, mendahulukan optimasi dan fitur terbaru kami sehingga dapat segera tersedia bagi developer. Hal ini memungkinkan Anda untuk menikmati manfaat performa Intel® AMX dengan penambahan beberapa baris kode, yang mengurangi waktu pengembangan keseluruhan.
    Kami juga menyediakan akses ke alat, pustaka, dan sumber daya pengembangan Intel® gratis.

Kasus Penggunaan Deep Learning Intel® AMX

Intel® AMX dapat diterapkan dalam berbagai kasus penggunaan deep learning untuk menghadirkan peningkatan performa yang signifikan yang menghasilkan nilai bisnis serta pengguna akhir yang lebih besar.

  • Sistem perekomendasi: Gunakan Intel® AMX sebagai solusi yang lebih hemat biaya untuk model perekomendasi AI yang meningkatkan responsivitas produk, konten, dan rekomendasi layanan untuk banyak kasus penggunaan, termasuk e-commerce, media sosial, hiburan streaming, dan perbankan yang dipersonalisasi. Misalnya, penyedia konten sering menggunakan Intel® AMX untuk mengakselerasi pengiriman rekomendasi dan iklan dari film atau buku yang ditargetkan atau untuk menghadirkan sistem rekomendasi berbasis deep learning yang memperhitungkan sinyal perilaku pengguna secara real-time serta fitur konteks seperti waktu dan lokasi secara real time. Prosesor Intel® Xeon® generasi ke-5 menghadirkan performa inferensi Sistem Rekomendasi batch (DLRM) hingga 8,7x lebih tinggi dan performa/watt 6,2x lebih tinggi dibandingkan prosesor Intel® Xeon® generasi ke-3 dengan FP32.6
  • Pemrosesan bahasa alami (NLP): Akselerasikan kasus penggunaan berbasis teks untuk mendukung dan menskalakan aplikasi NLP, seperti yang digunakan dalam layanan kesehatan dan ilmu hayati untuk mengekstraks wawasan dari catatan klinis atau memproses data medis dalam jumlah besar untuk membantu pendeteksian dini masalah kesehatan dan meningkatkan pemberian perawatan. Dalam layanan keuangan, Intel® AMX dapat digunakan untuk meningkatkan responsivitas chatbot online untuk membantu menghubungkan pelanggan dengan informasi yang mereka butuhkan dengan lebih cepat sekaligus membebaskan staf yang terbatas untuk menangani permintaan yang lebih kompleks.
    Mirip dengan manfaat penghematan biaya untuk sistem perekomendasi, Intel® AMX dapat menjadi solusi yang lebih hemat biaya untuk NLP. Misalnya, ketika digunakan untuk menerapkan model Bahasa Alami AI BERT-Large, Intel® AMX pada prosesor Intel® Xeon® generasi ke-4 memberikan penghematan hingga 79% jika dibandingkan dengan AMD Genoa 9354.7
  • AI Generatif: Manfaatkan Intel® AMX untuk mengakselerasi performa pelatihan deep learning dan beban kerja inferensi untuk kasus penggunaan AI generatif seperti pembuatan konten, termasuk gambar, video, dan audio, terjemahan bahasa, augmentasi data, serta peringkasan. Misalnya, evaluasi performa prosesor Intel® Xeon® Platinum 8480+ dengan tipe data Intel® AMX untuk BF16 dibandingkan dengan prosesor Intel® Xeon® Platinum 8380 untuk tipe data FP32 menurunkan waktu penghasilan teks ke gambar Stable Diffusion menjadi kurang dari lima detik serta penyetelan model Stable Diffusion menjadi kurang dari lima menit.8
  • Visi komputer: Kurangi waktu mulai dari pengambilan video dan gambar hingga wawasan serta tindakan untuk menghadirkan pengalaman pelanggan yang luar biasa dan membantu bisnis Anda meningkatkan efisiensi serta mengurangi biaya operasional. Misalnya, di toko ritel, Intel® AMX dapat membantu meminimalkan waktu transaksi karena pelanggan menggunakan checkout yang mudah dan didukung visi komputer serta mendukung pemantauan rak secara hampir real-time untuk melacak data inventaris dan segera memberi tahu staf ketika barang habis. Dalam manufaktur, analisis video yang diakselerasi dari kamera visi komputer pada lengan robot dapat membantu menghemat waktu dan biaya dengan kemampuan pendeteksian cacat otomatis.

Untuk menemukan contoh tambahan bagaimana pelanggan Intel® menggunakan Intel® AMX untuk mendorong hasil bisnis yang lebih baik, kunjungi pustaka sorotan pelanggan kami.

Memulai dengan Intel® AMX

Kami menawarkan berbagai sumber daya pengembangan untuk membantu Anda memanfaatkan akselerator Intel® AMX terintegrasi dalam prosesor Intel® Xeon® yang Dapat Diskalakan Anda.

Untuk memulai, tinjaulah instruksi langkah demi langkah untuk meningkatkan performa dengan Intel® AMX dalam panduan berikut:

Untuk informasi teknis, tutorial, contoh kode, dan modul pengujian yang lebih mendalam, kunjungi:

Anda dapat mengakses semua panduan penyetelan kami untuk prosesor Intel® Xeon® yang Dapat Diskalakan dalam katalog alat perangkat lunak developer kami.

Untuk membantu Anda menyederhanakan upaya pengembangan AI Anda, kami menawarkan Intel® oneAPI Toolkits, komponen, dan optimasi kami, yang mencakup:

Bereksperimen dengan Intel® AMX Sekarang

Selain berkonsultasi dengan bahan referensi kami, Anda dapat bereksperimen dengan perangkat keras Intel®, Intel® AMX, dan fitur akselerasi terintegrasi lainnya dengan menggunakan Intel® Developer Cloud.

Platform online gratis untuk mempelajari, membuat prototipe, menguji, dan menjalankan beban kerja ini juga mencakup dukungan untuk sejumlah toolkit, alat, dan pustaka pengembangan perangkat lunak Intel®.

Perluas dan Tingkatkan Kemampuan AI pada CPU Anda dengan Intel® AMX

Seiring organisasi Anda mencari solusi untuk memenuhi tuntutan komputasi yang terus berkembang untuk mendukung pelatihan deep learning dan beban kerja inferensi, Intel® AMX dapat membantu meningkatkan performa menggunakan perangkat keras Intel® yang mungkin sudah Anda miliki, tanpa biaya dan kompleksitas yang muncul dengan perangkat keras khusus tambahan dan dalam waktu pengembangan yang lebih singkat, dengan menggunakan optimasi Intel® dalam kerangka kerja sumber terbuka yang populer serta akses ke alat dan sumber daya pengembangan Intel® yang gratis.

Temukan Lainnya

Intel® Accelerator Engines

Pelajari lebih lanjut tentang kemampuan akselerasi bawaan dalam prosesor Intel® Xeon® yang Dapat Diskalakan.

Jelajahi mesin

Prosesor Intel® Xeon® yang Dapat Diskalakan

Temukan mengapa prosesor yang canggih ini adalah pilihan yang tepat untuk beban kerja Anda yang menuntut.

Jelajahi prosesor

Informasi Produk dan Performa

1

Ketersediaan akselerator bervariasi tergantung pada SKU. Kunjungi halaman Spesifikasi Produk Intel untuk rincian produk tambahan.

2

Lihat [A16] dan [A17] di intel.com/processorclaims: prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-4. Hasil mungkin berbeda.

3

Lihat [A15-A16] di intel.com/processorclaims: prosesor Intel® Xeon® yang Dapat Diskalakan generasi ke-5. Hasil mungkin berbeda.

4

Lihat [A23] di intel.com/processorclaims: Prosesor Intel® Xeon® Generasi ke-5. Hasil mungkin berbeda.

5

Lihat [A210] di intel.com/processorclaims: Prosesor Intel® Xeon® Generasi ke-5. Hasil mungkin berbeda.

6

Lihat [A20] di intel.com/processorclaims: Prosesor Intel® Xeon® Generasi ke-5. Hasil mungkin berbeda.

7

Berdasarkan prosesor Intel® Xeon® Generasi ke-4 yang memproses hingga 5,60x lebih cepat dibandingkan AMD EPYC Generasi ke-4 saat menjalankan beban kerja BERT-Large. Performa ini menghasilkan pengurangan armada dari 50 menjadi sembilan server, yang menghemat 424 kW listrik per tahunnya, mengurangi 719.546 kgCO2 selama empat tahun, dan mendorong penghematan biaya sebesar USD 1,38 juta. BERT-Large: 8462Y+: 1-node, 2x prosesor Intel® Xeon® Scalable Generasi ke-4 8462Y+(32c/2,8 GHz, 300 W TDP) pada server Supermicro SYS-221H-TNR dengan memori DDR5 1024 GB (16x64 GB/4800), microcode 0x2b000161, HT aktif, Turbo aktif, SNC nonaktif, Ubuntu 22.04.2 LTS, 5.15.0-58-generic, 1x 1,92 T SAMSUNG MZQL21T9HCJR-00A07, Framework=Intel® TF 2.11.dev202242, Python 3.8, AI Model=BERT-Large, ukuran langkah=30, warmup=10; Hasil yang di-batch: Skor terbaik dicapai menggunakan FP32(BS=64[16 inti/instans]), BFloat16(BS=64[4 inti/instans], int8-AMX(BS=64[1 inti/instans), hasil Real Time(BS1) saat mempertahankan latensi 130 milidetik; SLA: Skor terbaik dicapai menggunakan FP32 (32 inti/instans), BFloat16 (empat inti/instans), int8-AMX (empat inti/instans), diuji oleh Intel, April 2023. BERT-Large: 9354: 1-node, 2x prosesor AMD EPYC 9354 (32c/3,25 GHz, 280 W TDP) pada server Supermicro H13DSH dengan memori DDR5 1536 GB (24x64 GB /4800), microcode 0xa101111, SMT aktif, Boost aktif, NPS=1, Ubuntu 22.04.2 LTS, 5.15.0-58-generic, 1x 1,92 T SAMSUNG MZQL21T9HCJR-00A07, Framework=Stock TF 2.10.1, ZenDNN=v4.0, Python 3.8, AI Model=BERT-Large, ukuran langkah=30, warmup=10; Hasil yang di-batch: Skor terbaik dicapai menggunakan FP32(BS=64[1 inti/instans]), diuji oleh Intel, April 2023. Biaya berdasarkan pada estimasi Intel dan informasi dari thinkmate.com:

  • Untuk armada 50 server AMD EPYC 9354, diperkirakan per bulan Maret 2023:
    • Biaya CapEx: USD 1,01 juta
    • Biaya OpEx (empat tahun, termasuk daya dan biaya utilitas pendinginan, infrastruktur, serta biaya pemeliharaan perangkat keras): USD 732.600
    • Penggunaan energi dalam kWh (empat tahun, per server): 43169, PUE 1,6
    • Asumpsi lainnya: Biaya utilitas USD 0,1/kWh, kWh ke kg CO2 faktor 0,42394
  • Untuk armada sembilan server Intel® Xeon® 8462Y Generasi ke-4 per bulan Maret 2023:
    • Biaya CapEx: USD 222.000
    • Biaya OpEx (empat tahun, termasuk daya dan biaya utilitas pendinginan, infrastruktur, serta biaya pemeliharaan perangkat keras): USD 139.000
    • Penggunaan energi dalam kWh (empat tahun, per server): 51242, PUE 1,6
    • Asumpsi lainnya: Biaya utilitas USD 0,1/kWh, kWh ke kg CO2 faktor 0,42394
8

Penyetelan prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-4: Diuji oleh Intel pada tanggal 09/12/2022. Satu hingga empat node, 2S, Intel® Xeon® Platinum 8480+ 56 inti pada perangkat lunak dan platform Dennard Pass dengan memori 512 GB (16x32 GB DDR5 4800 MT/detik [4800 MT/detik]), microcode 0x90000c0, HT aktif, Turbo aktif, Rocky Linux 8.7, 4.18.0-372.32.1.el8_6.crt2.x86_64, 931,5 G SSD. Beberapa node terhubung dengan 200 Gbps OmniPath. PyTorch 1.13, IPEX 1.13, Transformers 4.24.0, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0, oneCCL 2021.7.1. Inferensi prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-4: Diuji oleh Intel pada tanggal 09/12/2022. Satu node, 2S, Intel® Xeon® Platinum 8480+ 56 inti pada perangkat lunak dan platform Archer City dengan 1024 GB (16x64 GB DDR5 4800 MT/detik [4800 MT/detik]), microcode 0x2b000111, HT aktif, Turbo aktif, Ubuntu 22.04.1 LTS, 5.15.0-56-generic, 1,5 TB SSD. Beberapa node terhubung dengan 100 Gbps Ethernet Controller I225-LM. PyTorch (commit ID: 26d1dbc) + PR 81852, Transformers 4.25.1, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0. Inferensi prosesor Intel® Xeon® yang Dapat Diskalakan Generasi ke-3: Diuji oleh Intel pada tanggal 09/12/2022. Satu node, 2S, Intel® Xeon® Platinum 8380 CPU @ 2,30 GHz 40 inti pada perangkat lunak dan platform WHITLEY dengan 512 GB (16x32 GB DDR4 3200 MT/detik [3200 MT/detik]), microcode 0xd000375, HT aktif, Turbo aktif, Ubuntu, 5.15.0-56-generic, 7,0 TB SSD. Beberapa node terhubung dengan 10 Gbps Ethernet Controller X710 untuk 10GBASE-T. PyTorch (commit ID: 26d1dbc), Transformers 4.25.1, Accelerate 0.14, Diffusers 0.8.0, oneDNN 2.6.0. Performa beragam berdasarkan penggunaan, konfigurasi, dan faktor lainnya. Pelajari lebih lanjut di intel.com/PerformanceIndex. Hasil performa berdasarkan pengujian per tanggal yang diperlihatkan dalam konfigurasi dan mungkin tidak mencerminkan semua pembaruan keamanan yang tersedia untuk umum. Lihat cadangan untuk detail konfigurasi. Tidak ada produk atau komponen yang sepenuhnya aman.