AMD Instinct MI300 Series Diperkenalkan, Solusi AI Data Center Andal - AMD secara resmi telah mengumumkan ketersediaan akselerator AMD Instinct MI300X – dengan bandwidth memori terdepan di industri untuk AI generatif dan kinerja terdepan untuk pelatihan dan inferensi model bahasa besar (LLM) – serta unit pemrosesan akselerasi (APU) AMD Instinct MI300A – yang menggabungkan arsitektur AMD CDNA 3 terbaru dan CPU “Zen 4” untuk menghadirkan kinerja terobosan untuk HPC dan beban kerja AI.
“Akselerator AMD Instinct MI300 Series dirancang dengan teknologi tercanggih kami, memberikan kinerja terdepan, dan akan digunakan dalam cloud skala besar dan penerapan di perusahaan,” kata Victor Peng, president, AMD.
“Dengan memanfaatkan kepemimpinan kami dalam pendekatan hardware, software, dan ekosistem terbuka, penyedia cloud, OEM, dan ODM menghadirkan teknologi ke pasar yang memberdayakan perusahaan untuk mengadopsi dan menerapkan solusi yang didukung AI.”
Pelanggan yang memanfaatkan portofolio akselerator AMD Instinct terbaru termasuk Microsoft, baru-baru ini mengumumkan seri Virtual Machine (VM) Azure ND MI300x v5 , yang dioptimalkan untuk beban kerja AI dan didukung oleh akselerator AMD Instinct MI300X.
Selain itu, El Capitan – superkomputer yang ditenagai oleh APU AMD Instinct MI300A dan ditempatkan di Lawrence Livermore National Laboratory – diharapkan menjadi superkomputer kelas exascale kedua yang ditenagai oleh AMD, memberikan lebih dari dua exaflop kinerja presisi ganda ketika digunakan sepenuhnya.
Oracle Cloud Infrastructure berencana untuk menambahkan instance bare metal berbasis AMD Instinct MI300X ke dalam instance komputasi akselerasi berkinerja tinggi untuk AI milik perusahaan. Instans berbasis MI300X direncanakan untuk mendukung OCI Supercluster dengan jaringan ultrafast RDMA.
Beberapa OEM besar juga memamerkan sistem komputasi yang dipercepat, bersamaan dengan acara AMD Advancing AI. Dell memamerkan server Dell PowerEdge XE9680 yang dilengkapi delapan akselerator AMD Instinct dan Desain Validasi Dell baru untuk AI Generatif dengan kerangka kerja AI yang didukung AMD ROCm.
HPE baru-baru ini mengumumkan HPE Cray Supercomputing EX255a, blade akselerator superkomputer pertama bertenaga APU AMD Instinct MI300A, yang akan tersedia pada awal tahun 2024. Lenovo mengumumkan dukungan desainnya untuk akselerator Seri AMD Instinct MI300 baru dengan rencana ketersediaan pada paruh pertama tahun 2024 ini. Supermicro mengumumkan penambahan baru pada server akselerasi generasi H13 yang didukung oleh CPU AMD EPYC Generasi Keempat dan akselerator AMD Instinct MI300 Series.
Baca juga:Duel ZTE Blade V50 Design vs Samsung Galaxy A05: Mana yang Lebih Unggul?
AMD Instinct MI300X
Akselerator AMD Instinct MI300X bertenaga arsitektur AMD CDNA 3 baru. Jika dibandingkan dengan akselerator AMD Instinct MI250X generasi sebelumnya, MI300X menghadirkan unit komputasi hampir 40% lebih baik, kapasitas memori 1,5x lebih besar, bandwidth memori teoritis puncak 1,7x lebih banyak serta dukungan untuk format matematika baru seperti FP8 dan sparsity; semuanya diarahkan pada beban kerja AI dan HPC.
LLM saat ini terus meningkat dalam ukuran dan kompleksitas, membutuhkan memori dan komputasi dalam jumlah besar. Akselerator AMD Instinct MI300X menghadirkan kapasitas memori HBM3 192 GB terbaik di kelasnya serta bandwidth memori puncak 5,3 TB/dtk2 untuk memberikan kinerja yang dibutuhkan untuk beban kerja AI yang semakin menuntut.
Platform AMD Instinct adalah platform AI generatif terdepan yang dibangun berdasarkan desain OCP standar industri dengan delapan akselerator MI300X untuk menawarkan kapasitas memori HBM3 1,5 TB yang terdepan di industri. Desain standar industri AMD Instinct Platform memungkinkan mitra OEM untuk merancang akselerator MI300X ke dalam penawaran AI yang ada dan menyederhanakan penerapan serta mempercepat adopsi server berbasis akselerator AMD Instinct.
Dibandingkan dengan Nvidia H100 HGX, Platform AMD Instinct dapat menawarkan peningkatan throughput hingga 1,6x saat menjalankan inferensi pada LLM seperti BLOOM 176B dan merupakan satu-satunya pilihan di pasar yang mampu menjalankan inferensi untuk model parameter 70B, seperti Llama2, pada satu akselerator MI300X; menyederhanakan penerapan LLM kelas perusahaan dan memberikan TCO yang luar biasa.
AMD Instinct MI300A
APU AMD Instinct MI300A, APU data center pertama di dunia untuk HPC dan AI, memanfaatkan kemasan 3D dan Arsitektur AMD Infinity Generasi Keempat untuk menghadirkan kinerja terdepan pada beban kerja kritis yang berada pada konvergensi HPC dan AI. APU MI300A memadukan core GPU AMD CDNA 3 berkinerja tinggi, core CPU berbasis AMD “Zen 4” x86 terbaru, dan memori HBM3 generasi berikutnya sebesar 128GB, untuk menghadirkan ~1,9x kinerja per watt pada FP32 HPC dan AI beban kerja, dibandingkan dengan generasi sebelumnya AMD Instinct MI250X.
Efisiensi energi adalah hal yang paling penting bagi komunitas HPC dan AI, namun beban kerja ini sangat membutuhkan data dan sumber daya. APU AMD Instinct MI300A mendapatkan keuntungan dari integrasi inti CPU dan GPU dalam satu paket yang menghadirkan platform yang sangat efisien sekaligus memberikan kinerja komputasi untuk mempercepat pelatihan model AI terbaru.
AMD menetapkan laju inovasi dalam efisiensi energi dengan sasaran 30x25 perusahaan yang bertujuan untuk memberikan peningkatan efisiensi energi 30x pada prosesor server dan akselerator untuk pelatihan AI dan HPC mulai tahun 2020-2025.
Keunggulan APU berarti bahwa APU AMD Instinct MI300A memiliki fitur memori terpadu dan sumber daya cache yang memberi pelanggan platform GPU yang mudah diprogram, komputasi berperforma tinggi, pelatihan AI yang cepat, dan efisiensi energi yang mengesankan untuk mendukung beban kerja HPC dan AI yang paling menuntut.
Mitra Software dan Ekosistem ROCm
AMD mengumumkan AMD ROCm 6 open software platform terbaru serta komitmen perusahaan untuk menyumbangkan perpustakaan canggih kepada komunitas open-source, memajukan visi perusahaan dalam pengembangan software AI open source. Software ROCm 6 mewakili lompatan kemajuan signifikan bagi software AMD, meningkatkan kinerja akselerasi AI sebesar ~8x saat dijalankan pada akselerator Seri MI300 di generasi teks Llama 2 dibandingkan dengan hardware dan software generasi sebelumnya.
Selain itu, ROCm 6 menambahkan dukungan untuk beberapa fitur utama baru untuk AI generatif termasuk FlashAttention, HIPGraph, dan vLLM. Dengan demikian, AMD diposisikan secara unik untuk memanfaatkan model, algoritma, dan kerangka kerja software AI open-source yang paling banyak digunakan – seperti Hugging Face, PyTorch, TensorFlow, dan lainnya – mendorong inovasi, menyederhanakan penerapan solusi AI AMD, dan membuka potensi AI generative yang sesungguhnya.
AMD juga terus berinvestasi dalam kemampuan software melalui akuisisi Nod.AI dan Mipsology serta melalui kemitraan ekosistem strategis seperti Lamini – menjalankan LLM untuk pelanggan perusahaan – dan MosaicML – memanfaatkan AMD ROCm untuk memungkinkan pelatihan LLM pada akselerator AMD Instinct dengan nol perubahan kode.
SKU AMD Instinct MI300 Series
AMD Instinct MI300A
- Architecture AMD CDNA 3
- GPU CUs 228
- CPU Cores 24 “Zen 4”
- Memory 128GB HBM3
- Memory Bandwidth 5.3 TB/s
- Process Node 5nm / 6nm
- 3D Packaging w/ 4th Gen AMD Infinity Architecture Yes
AMD Instinct MI300X
- Architecture AMD CDNA 3
- GPU CUs 304
- CPU Cores N/A
- Memory 192GB HBM3
- Memory Bandwidth 5.3 TB/s
- Process Node 5nm / 6nm
- 3D Packaging w/ 4th Gen AMD Infinity Architecture Yes
AMD Instinct Platform
- Architecture AMD CDNA 3
- GPU CUs 2.432
- CPU Cores N/A
- Memory 1.5TB HBM3
- Memory Bandwidth 5.3 TB/s per OAM
- Process Node 5nm / 6nm
- 3D Packaging w/ 4th Gen AMD Infinity Architecture Yes
Anda mungkin suka:Review ZTE Blade V50 Design: Smartphone Kencang, Stylish, dan Harga Terjangkau!
Posting Komentar