AMD Instinct MI325X Diluncurkan, Unggulkan Performa AI Mumpuni - Advanced Micro Device atau AMD telah resmi meluncurkan akselerator canggih terbarunya melalui seri AMD Instinct MI325X yang diklaim memiliki performa AI yang mumpuni. Akselerator ini pertama kali diperkenalkan di Computex 2024. Selain itu, AMD juga memperkenalkan NIC AMD Pensando Pollara 400 dan DPU AMD Pensando Salina.
“AMD terus memenuhi peta jalan kami, menawarkan kepada pelanggan kinerja yang mereka butuhkan dan pilihan yang mereka inginkan, untuk membawa infrastruktur AI, secara besar-besaran, ke pasar lebih cepat,” kata Forrest Norrod, executive vice president and general manager, Data Center Solutions Business Group, AMD.
“Dengan akselerator AMD Instinct yang baru, prosesor EPYC, dan mesin jaringan AMD Pensando, pertumbuhan berkelanjutan dari ekosistem open software kami, serta kemampuan untuk menggabungkan semuanya menjadi infrastruktur AI yang dioptimalkan, AMD menekankan keahlian kritis untuk membangun dan menerapkan solusi AI kelas dunia.”
Akselerator AMD Instinct MI325X menggunakan arsitektur baru AMD CDNA 3 yang dirancang untuk kinerja dan efisiensi menangani tugas-tugas AI yang intensif, mulai dari pelatihan model dasar, penyempurnaan, hingga inferensi. Seluruh produk-produk ini memungkinkan pelanggan dan mitra AMD untuk menciptakan solusi AI yang sangat berkinerja dan teroptimasi di tingkat sistem, rak, dan data center.
Lebih Dekat dengan Akselerator AMD Instinct MI325X
Akselerator AMD Instinct MI325X menawarkan kapasitas memori dan bandwidth besar di segmennya, dengan 256GB HBM3E yang mendukung 6.0TB/s menawarkan kapasitas 1.8X lebih banyak dan bandwidth 1.3X lebih banyak dibandingkan H2001. Berdasarkan informasi yang Laptophia himpun, Instinct MI325X juga menawarkan kinerja komputasi teoritis puncak FP16 dan FP8 yang 1,3 kali lebih besar dibandingkan dengan H200.
Memori dan komputasi tinggi di Instinct MI325X ini dapat memberikan kinerja inferensi hingga 1,3X pada Mistral 7B di FP16, 1,2X kinerja inferensi pada Llama 3.1 70B pada FP8 dan 1,4X kinerja inferensi pada Mixtral 8x7B di FP16 dari H200.
Akselerator Instinct MI325X saat ini berada pada jalur untuk pengiriman produksi pada Q4 2024 dan diharapkan akan tersedia secara luas dari berbagai penyedia platform, termasuk Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro, dan lainnya mulai Q1 2025.
Melanjutkan komitmennya terhadap ritme roadmap tahunan, AMD menampilkan preview akselerator seri AMD Instinct MI350 generasi berikutnya. Berdasarkan arsitektur AMD CDNA 4, akselerator seri AMD Instinct MI350 dirancang untuk memberikan peningkatan kinerja inferensi sebesar 35x dibandingkan dengan akselerator berbasis AMD CDNA 3.
Seri AMD Instinct MI350 akan terus memimpin kapasitas memori dengan hingga 288GB memori HBM3E per akselerator. Akselerator seri AMD Instinct MI350 dijadwalkan akan tersedia pada paruh kedua tahun 2025.
Software AI AMD untuk AI Generatif
AMD terus berinvestasi dalam mendorong kemampuan software dan ekosistem terbuka untuk menghadirkan fitur dan kemampuan baru yang kuat dalam tumpukan software terbuka AMD ROCm.
Dalam komunitas software terbuka, AMD mendorong dukungan untuk mesin komputasi AMD dalam kerangka kerja, pustaka, dan model AI yang paling banyak digunakan termasuk PyTorch, Triton, Hugging Face, dan banyak lainnya. Pekerjaan ini diterjemahkan menjadi kinerja dan dukungan siap pakai dengan akselerator AMD Instinct pada model AI generatif populer seperti Stable Diffusion 3, Meta Llama 3, 3.1 dan 3.2 serta lebih dari satu juta model di Hugging Face.
Di luar komunitas, AMD terus mengembangkan tumpukan open software ROCm, menghadirkan fitur-fitur terbaru untuk mendukung pelatihan dan inferensi terkemuka pada beban kerja AI Generatif.
ROCm 6.2 sekarang mencakup dukungan untuk fitur AI kritis seperti tipe data FP8, Flash Attention 3, Kernel Fusion, dan lainnya. Dengan tambahan baru ini, ROCm 6.2, dibandingkan dengan ROCm 6.0, memberikan peningkatan kinerja hingga 2,4X pada inferensi dan 1,8X pada pelatihan untuk berbagai LLM.
Anda mungkin suka:Review Xiaomi 13T, Masih Layak Pilih di 2024?
Posting Komentar