Tim peneliti ilmiah dalam laboratorium sedang bekerja di komputer desktop untuk memeriksa konten yang diletakkan di bawah mikroskop.

Skalakan Beban Kerja AI dalam Lingkungan HPC

Temukan cara menerapkan dan menskalakan beban kerja AI yang dinamis di lingkungan HPC Anda untuk membuka wawasan baru, mengakselerasi hasil, dan mendukung peluang baru.

Manfaat Utama

  • Dataset yang besar, waktu yang lebih cepat untuk memberikan nilai, dan tuntutan untuk wawasan yang lebih dalam mendorong kebutuhan akan HPC yang diakselerasi AI.

  • AI di HPC memerlukan teknologi yang memaksimalkan komputasi dan bandwidth memori untuk menjawab kebutuhan beban kerja intensif data.

  • Solusi perangkat lunak sumber terbuka dan perangkat keras berperforma tinggi Intel® dirancang guna mengakselerasi HPC untuk penemuan ilmiah.

author-image

Oleh

Masuki Era Baru HPC yang Diakselerasi AI

Selama bertahun-tahun, pengguna akhir, pembangun sistem, penyedia solusi, dan developer telah memanfaatkan kecanggihan HPC untuk memecahkan masalah terberat dan paling kompleks di dunia. Namun, pertumbuhan data yang berkelanjutan, kebutuhan akan waktu yang lebih cepat untuk memberikan nilai, menuntut wawasan yang lebih besar dan lebih mendalam untuk penemuan ilmiah, ditambah dengan kendala waktu dan biaya yang terus mendorong batasan sistem saat ini.

Di saat yang bersamaan, algoritma AI semakin kompleks dan dapat menangani dataset yang jauh lebih besar dibandingkan tahun-tahun sebelumnya, membuatnya ideal untuk menangani beban kerja ilmiah yang terus bertumbuh. Organisasi yang memanfaatkan kecanggihan AI dan HPC secara bersamaan dapat mengurangi waktu mereka mendapatkan wawasan sekaligus memenuhi, atau melampaui, tingkat akurasi yang sama, yang pada akhirnya memungkinkan mereka untuk mengatasi beberapa masalah yang paling kompleks dan mendesak di dunia.

Misalnya, Argonne Leadership Computing Facility (ALCF) milik Argonne National Laboratory di Illinois, rumah masa depan bagi sistem HPC Aurora exascale, yang membantu memajukan penelitian ilmiah melalui konvergensi HPC, analisis data performa tinggi, dan AI. Proyek terbaru yang dijadwalkan untuk ALCF akan menggunakan AI untuk memodelkan kondisi reaktor energi fusi; mengembangkan model cairan khusus pasien yang noninvasif untuk memahami perkembangan dan menentukan lokasi berbagai penyakit manusia; serta memahami multifisika dalam reaktor fusi dengan lebih baik.

Jelajahi kumpulan kisah sukses pelanggan kami untuk menemukan bagaimana organisasi dan institusi penelitian lainnya memanfaatkan HPC yang diakselerasi AI untuk mendorong inovasi ilmiah yang akurat dan berdampak.

Memahami Tantangan AI di HPC

Seiring Anda memulai proses menjalankan inisiatif HPC yang diakselerasi AI Anda sendiri, penting untuk memahami tantangan umum yang mungkin Anda hadapi.

 

  • Untuk konfigurasi AI dan HPC, secara tradisional ada kompromi antara persyaratan HPC dan AI dalam arsitektur CPU. Beban kerja AI yang berat biasanya menukar jumlah inti dengan kecepatan, sementara beban kerja HPC sering kali lebih memilih performa komputasi yang lebih besar dengan jumlah inti yang banyak dan bandwidth antarinti yang lebih tinggi.
  • Beban kerja yang semakin intensif data, seperti pemodelan, simulasi, dan AI, menciptakan bottleneck performa yang memerlukan solusi dengan memori bandwidth tinggi yang dirancang untuk membuka dan mengakselerasinya.
  • Tingkat kompleksitas AI yang tinggi di HPC adalah sumber kesulitan utama untuk adopsi. Keterampilan yang ditetapkan untuk AI dan HPC sangat spesifik terhadap domain, dan menemukan talenta yang terampil di kedua bidang tersebut merupakan hal yang sulit. Namun, tanpa talenta ini, inisiatif HPC yang diakselerasi AI mungkin tidak akan maju.

 

Untuk membantu pelanggan mengatasi hambatan ini, kami berkolaborasi secara erat dengan komunitas HPC dalam penggunaan AI untuk berbagi keahlian dan ide serta menawarkan solusi inovatif, menggunakan teknologi HPC terkemuka kami.

Buat Rencana Penerapan HPC yang Diakselerasi AI Anda

Langkah penting untuk mengakselerasi proyek HPC Anda dengan AI adalah pembuatan rencana penerapan komprehensif yang mencakup kebutuhan dan persyaratan organisasi Anda untuk memastikan Anda memiliki teknologi yang tepat dalam penelitian dan penemuan.

Seiring Anda mempertimbangkan untuk menambahkan kemampuan AI yang kuat ke lingkungan HPC, berikut adalah pertanyaan yang harus Anda tanyakan agar Anda dapat membuat keputusan teknologi yang lebih tepat:

 

  • Persyaratan waktu dan akurasi apa yang harus dipenuhi oleh output Anda? 
  • Bias algoritma jenis apa yang harus Anda perhatikan dan hindari?
  • Konsesi kompromi apa yang dapat diterima untuk mencapai persyaratan sensitivitas dan spesifisitas Anda?
  • Apakah pilihan model, dataset, dan output Anda akan berubah dalam hal ukuran dan arah?
  • Di mana dan bagaimana perubahan kode akan terjadi di dalam proyek?
  • Apa cara terbaik bagi Anda untuk mencapai perubahan kode?
  • Apakah penulisan ulang kode signifikan akan diperlukan dari kasus penggunaan satu ke kasus penggunaan lainnya?
  • Berapa banyak dan jenis beban kerja apa yang akan dijalankan? Seberapa sering beban kerja perlu dijalankan? Apakah beban kerja akan berjalan secara terus menerus?

 

Jawaban atas pertanyaan ini dapat memberi Anda landasan yang kuat tentang persyaratan penggunaan ketika menjelajahi opsi desain sistem dengan mitra teknologi Anda.

Pilih Teknologi yang Mendukung Penemuan HPC yang Diakselerasi AI

Kunci untuk mewujudkan janji AI dalam HPC adalah memilih teknologi tepat yang bekerja bersama untuk memaksimalkan komputasi dan bandwidth memori untuk mengimbangi tuntutan profil beban kerja Anda yang dinamis.

Intel menawarkan serangkaian teknologi AI dan HPC komprehensif yang dibangun berdasarkan kerangka kerja berbasis standar terbuka dan lintas arsitektur untuk menyederhanakan penerapan serta memberikan kecanggihan dan performa fleksibel yang Anda perlukan untuk memenuhi tuntutan beban kerja Anda yang unik. Selain itu, alat perangkat lunak kami yang kuat dan sumber terbuka membantu mengakselerasi pengembangan kode, sehingga developer dapat menulis kode sekali dan menerapkannya di sistem apa pun di seluruh pusat data dan cloud.

Pilih Perangkat Keras dengan Efisiensi dan Performa Tinggi

Untuk mulai membangun kombinasi unik teknologi HPC yang diakselerasi AI Anda, kami sarankan untuk memulai dengan fondasi perangkat keras yang kuat, seperti perangkat keras yang didukung oleh prosesor Intel® Xeon® yang Dapat Diskalakan. CPU ini dilengkapi Intel® Accelerator Engines terintegrasi untuk AI dan HPC, termasuk Intel® Advanced Matrix Extensions (Intel® AMX) dan Intel® Advanced Vector Extensions 512 (Intel® AVX-512), untuk menghadirkan performa luar biasa dalam mendukung beban kerja AI dan HPC yang berat.

Jika pekerjaan Anda melibatkan beban kerja yang sangat kompleks yang berfokus pada inferensi dan pelatihan berskala besar, Anda mungkin ingin mempertimbangkan perangkat keras lebih khusus yang menghadirkan throughput dengan tingkat lebih tinggi.

 

  • Akselerator AI Intel® Gaudi® menghadirkan komputasi yang dapat diskalakan dan efisiensi tinggi sehingga memungkinkan ilmuwan data dan insinyur machine learning mengakselerasi pelatihan dan membangun model baru atau memindahkan model yang ada hanya dengan beberapa baris kode. Akselerator AI Intel® Gaudi® juga memberikan efisiensi daya yang luar biasa untuk membantu menurunkan biaya dan meningkatkan keberlanjutan.
  • Prosesor Intel® Xeon® CPU Seri Max menghadirkan performa terobosan yang Anda perlukan untuk kemampuan AI-HPC di masa depan sekaligus menghilangkan bottleneck untuk beban kerja yang terikat memori. Intel® Xeon® CPU Seri Max adalah prosesor berbasis x86 pertama dan satu-satunya yang dilengkapi memori bandwidth tinggi yang dapat menghadirkan performa hingga 4,8x lebih baik dibandingkan pesaing untuk beban kerja AI dan HPC di dunia nyata.1 Untuk memaksimalkan kemampuan CPU Intel® Seri Max dan untuk memproses beban kerja Anda yang paling menantang, Intel® Data Center GPU Max Series dapat diintegrasikan sebagai GPU diskrit. GPU ini mengemas lebih dari 100 miliar transistor ke dalam satu paket dan menyertakan fabric terpadu dan koheren Intel® Xe Link berkecepatan tinggi, untuk memberikan fleksibilitas kepada Anda dalam menjalankan form factor apa pun untuk mendukung penskalaan vertikal dan penskalaan horizontal.

 

Organisasi di seluruh dunia saat ini menggunakan teknologi Intel® ini untuk memajukan pekerjaan mereka. Misalnya, Texas Advanced Computing Center (TACC) menggunakan CPU Intel® Xeon® Seri Max, Intel® Data Center GPU Max Series, dan prosesor Intel® Xeon® yang Dapat Diskalakan untuk mendukung penelitian akademis di seluruh AS. Sementara Servicio Meteorológico Nacional (SMN) di Argentina, rumah bagi superkomputer paling canggih di Amerika Latin untuk penelitian akademik, dibangun berdasarkan GPU dan CPU Intel® Seri Max.

Akselerasi Proyek AI dan HPC Anda dengan Alat Perangkat Lunak yang Kuat

Seiring bertumbuhnya tuntutan akan AI dan HPC, developer menghadapi beberapa tantangan ketika mencari cara untuk membangun aplikasi HPC cepat yang dapat diskalakan dengan mudah di seluruh arsitektur. Mentransisi perangkat lunak untuk berfungsi pada klaster HPC dan secara efisien memprogram komputasi paralel berperforma tinggi dapat memerlukan investasi waktu yang signifikan bagi developer. Di saat yang bersamaan, developer perlu mengakselerasi beban kerja khusus di seluruh arsitektur sekaligus memastikan kode mereka berfungsi dengan sebanyak mungkin jenis perangkat lunak dan model komputasi—hal ini juga merupakan hal yang memakan waktu dan mahal.

Untuk membantu developer mengatasi tantangan ini, Intel mengambil pendekatan terbuka terhadap optimasi HPC dan perangkat lunak HPC, menawarkan bahasa terbuka Intel® oneAPI Toolkit yang bekerja di seluruh jaringan heterogen. Hal ini memungkinkan developer untuk membangun aplikasi lintas arsitektur, dioptimalkan untuk komputasi paralel dan berperforma tinggi dengan lebih cepat dan lebih mudah.

Intel® oneAPI Base Toolkit dan Intel® oneAPI HPC Toolkit memungkinkan developer untuk membangun, menganalisis, mengoptimalkan, dan menskalakan aplikasi HPC di berbagai jenis arsitektur dengan lebih mudah dan lebih cepat. Bagi developer, ilmuwan data, dan peneliti yang bekerja dengan beban kerja analisis dan AI, Intel menawarkan Intel® oneAPI AI Analytics Toolkit, yang memiliki kerangka kerja AI dan alat Python yang sudah familier untuk mengakselerasi alur AI, memaksimalkan performa, dan memberikan interoperabilitas untuk pengembangan yang lebih efisien. Selain itu, toolkit AI dan HPC dibangun menggunakan pustaka oneAPI untuk optimasi komputasi tingkat rendah. Dengan membangun aplikasi HPC menggunakan oneAPI, developer dapat menghindari penguncian kode pemrograman eksklusif untuk memaksimalkan penemuan dan mengungkapkan peluang baru.

Akselerasi Beban Kerja AI dan HPC Anda dengan Intel

Seiring Anda mengambil langkah berikutnya dalam menerapkan AI di HPC, teknologi terkemuka kami, ekosistem mitra yang luas, dan koneksi komunitas yang mendalam dapat membantu Anda menyederhanakan dan mengakselerasi perjalanan Anda. Untuk mempelajari lebih lanjut tentang apa yang ditawarkan oleh Intel untuk organisasi Anda dan untuk memulai, hubungi perwakilan Intel® Anda atau mitra teknologi AI Intel® atau HPC Anda.