Infrastuktur Oracle Cloud Kini Hadirkan Akselerator AMD Instinct MI300X untuk Beban AI - Advanced Micro Device belum lama ini mengumumkan bahwa Oracle Cloud Infrastructure (OCI) kini telah menyediakan akselerator AMD Instinct MI300X yang dipadukan dengan software terbyka ROCm untuk menangani beban berbasis AI (Artificial Intelligence) atau kecerdasan buatan. Akselerator ini juga mendukung instans OCI Compute Supercluster terbarunya yang disebut BM.GPU.MI300X.8.
OCI Supercluster dengan AMD Instinct MI300X dirancang untuk model AI yang didalamnya terdapat ratusan miliar parameter yang mendukung hingga 16.384 GPU dalam satu kluster dengan memanfaatkan teknologi jaringan fabrikasi ultrafast yang sama yang digunakan oleh akselerator lain pada OCI.
“Software terbuka AMD Instinct MI300X dan ROCm terus mendapatkan momentum sebagai solusi tepercaya untuk mendukung beban kerja AI OCI yang paling penting,” ucap Andrew Dieckmann, corporate vice president and general manager, Data Center GPU Business, AMD.
“Seiring dengan perluasan solusi ini ke pasar yang semakin intensif AI, kombinasi ini akan menguntungkan pelanggan OCI dengan kinerja tinggi, efisiensi, dan fleksibilitas desain sistem yang lebih besar.”
Dirancang untuk menjalankan beban kerja AI yang menuntut termasuk inferensi dan pelatihan large language model (LLM) yang memerlukan throughput tinggi dengan kapasitas memori dan bandwidth terdepan, instans bare metal OCI ini telah diadopsi oleh perusahaan termasuk Fireworks AI.
“Kemampuan inferensi akselerator AMD Instinct MI300X menambah pilihan ekstensif instans bare metal berkinerja tinggi milik OCI untuk menghilangkan beban komputasi virtual yang umum digunakan untuk infrastruktur AI.”
“Kami senang dapat menawarkan lebih banyak pilihan bagi pelanggan yang ingin mempercepat beban kerja AI dengan harga yang kompetitif," kata kata Donald Lu, senior vice president, software development, Oracle Cloud Infrastructure.
AMD Instinct MI300X menjalani pengujian ekstensif yang divalidasi oleh OCI yang menggarisbawahi kemampuan inferensi dan pelatihan AI-nya untuk menghadapi kasus penggunaan latensi optimal, bahkan dengan ukuran batch yang lebih besar, dan kemampuan untuk memasukkan model LLM terbesar dalam satu node. Hasil performa Instinct MI300X ini telah menarik perhatian pengembang model AI.
Fireworks AI menawarkan platform kencang yang dirancang untuk membangun dan menerapkan AI generatif. Dengan lebih dari 100 model, Fireworks AI memanfaatkan manfaat performa yang ditemukan di OCI menggunakan AMD Instinct MI300X.
“Fireworks AI membantu perusahaan membangun dan menerapkan sistem AI gabungan di berbagai industri dan kasus penggunaan," ucap Lin Qiao, CEO of Fireworks AI.
"Jumlah kapasitas memori yang tersedia pada software terbuka AMD Instinct MI300X dan ROCm memungkinkan kami untuk meningkatkan layanan kepada pelanggan kami seiring dengan terus berkembangnya model."
Anda mungkin suka:Laptop Asus A1404ZA VIPS557M, Tangguh dan Ringan Dilengkapi Microsoft 365 Basic
Posting Komentar