AMD Instinct MI300X dan ROCm Dukung Layanan Micorsoft Azure OpenAI Chat GPT 3.5 dan 4 - Belum lama ini Advanced Micro Sevice atau AMD telah memamerkan kemampuan komputasi dan software end-to-end terbarunya untuk pelanggan dan pengembang Microsoft. Dengan menggunakan solusi AMD seperti akselerator AMD Instinct MI300X, open software ROCm, prosesor dan software AI Ryzen, dan akselerator media Alveo MA35D, Microsoft mampu menyediakan rangkaian alat canggih untuk penerapan berbasis AI di berbagai pasar.
“Software AMD Instinct MI300X dan ROCm mendukung layanan Azure OpenAI Chat GPT 3.5 dan 4, yang merupakan salah satu beban kerja AI yang paling menuntut di dunia,” ujar Victor Peng, president, AMD.
“Dengan ketersediaan umum mesin virtual baru dari Azure, pelanggan AI memiliki akses yang lebih luas ke MI300X untuk memberikan solusi berkinerja tinggi dan efisien untuk aplikasi AI.”
Mesin virtual (VM) Microsoft Azure ND MI300X yang baru kini tersedia secara umum, memberikan pelanggan seperti Hugging Face, akses ke kinerja dan efisiensi yang mengesankan untuk beban kerja AI yang paling menuntut.
“Microsoft dan AMD memiliki sejarah panjang dalam bermitra di berbagai platform komputasi: pertama PC, kemudian silikon khusus untuk Xbox, HPC, dan sekarang AI,” kata Kevin Scott, chief technology officer and executive vice president of AI, Microsoft.
“Selama beberapa waktu terakhir, kami menyadari pentingnya menggabungkan hardware komputasi yang kuat dengan optimasi sistem dan software yang diperlukan untuk memberikan kinerja dan nilai AI yang luar biasa. Bersama AMD, kami telah mencapai hal ini melalui penggunaan ROCm dan MI300X, memberdayakan pelanggan dan pengembang AI Microsoft untuk mencapai hasil kinerja harga yang luar biasa untuk model frontier paling canggih dan intensif komputasi. Kami berkomitmen pada kolaborasi kami dengan AMD untuk terus mendorong kemajuan AI.”
Dukung AI di Microsoft
Sebelumnya diumumkan dalam preview pada November 2023, seri VM Azure ND MI300x v5 kini tersedia di wilayah Kanada Tengah bagi pelanggan untuk menjalankan beban kerja AI mereka. Menawarkan kinerja terdepan di industri, VM ini memberikan kapasitas HBM dan bandwidth memori yang mengesankan, memungkinkan pelanggan untuk memasukkan model yang lebih besar ke dalam memori GPU dan/atau menggunakan lebih sedikit GPU, yang pada akhirnya membantu menghemat daya, biaya, dan waktu dalam penyelesaian solusi.
VM ini dan software ROCm yang mendukungnya, juga digunakan untuk beban kerja Azure AI Production, termasuk Azure OpenAI Service, yang memberi pelanggan akses ke model GPT-3.5 dan GPT-4. Dengan AMD Instinct MI300X dan tumpukan open software ROCm yang telah terbukti dan siap pakai, Microsoft mampu mencapai harga/kinerja terdepan pada beban kerja inferensi GPT.
Baca juga:AMD Gandeng Universitas AMIKOM Yogyakarta, Gelar Acara Teknologi Inovasi AI
Melampaui beban kerja produksi Azure AI, salah satu pelanggan pertama yang menggunakan VM ini adalah Hugging Face. Dengan mem-porting model mereka ke VM ND MI300X hanya dalam waktu satu bulan, Hugging Face mampu mencapai performa dan harga/kinerja yang mengesankan untuk model mereka. Sebagai bagian dari hal ini, pelanggan VM ND MI300X dapat menghadirkan model Hugging Face ke VM untuk membuat dan menyebarkan aplikasi NLP dengan mudah dan efisien.
“Kolaborasi yang mendalam antara Microsoft, AMD, dan Hugging Face pada ekosistem open software ROCm akan memungkinkan pengguna Hugging Face menjalankan ratusan ribu model AI yang tersedia di Hugging Face Hub di Azure dengan GPU AMD Instinct tanpa perubahan kode, sehingga memudahkan untuk Pelanggan Azure akan membangun AI dengan model terbuka dan open source,” ucap Julien Simon, chief evangelist officer, Hugging Face.
Selain itu, pengembang dapat menggunakan software AMD Ryzen AI untuk mengoptimalkan dan menerapkan inferensi AI pada PC yang didukung AMD Ryzen AI. Software Ryzen AI memungkinkan aplikasi berjalan pada unit pemrosesan saraf (NPU) yang dibangun pada arsitektur AMD XDNA, silikon pemrosesan AI khusus pertama pada prosesor Windows x86.
Meskipun menjalankan model AI pada CPU atau GPU saja dapat menguras baterai dengan cepat, dengan laptop yang ditenagai oleh Ryzen AI, model AI beroperasi pada NPU yang tertanam, sehingga membebaskan sumber daya CPU dan GPU untuk tugas komputasi lainnya. Hal ini membantu meningkatkan masa pakai baterai secara signifikan dan memungkinkan pengembang menjalankan beban kerja AI LLM pada perangkat dan aplikasi bersamaan secara efisien dan lokal.
Dukung Layanan Video dan Komputasi Perusahaan
Microsoft telah memilih media akselerator AMD Alveo MA35D untuk mendukung beban kerja video streaming langsung yang besar, termasuk Microsoft Teams, video SharePoint, dan lainnya.
Dibuat khusus untuk mendukung layanan streaming interaktif langsung dalam skala besar, Alveo MA35D akan membantu Microsoft memastikan pengalaman video berkualitas tinggi dengan menyederhanakan beban kerja pemrosesan video, termasuk transcoding, decoding, pengkodean, dan streaming bitrate adaptif (ABR) video. Dengan menggunakan akselerator Alveo MA35D di server yang didukung oleh prosesor AMD EPYC Generasi Keempat, Microsoft mendapatkan:
- Kemampuan untuk mengkonsolidasikan server dan Infrastruktur cloud - memanfaatkan kepadatan saluran yang tinggi, hemat energi, dan kemampuan pemrosesan video latensi sangat rendah dari Alveo MA35D, Microsoft dapat secara signifikan mengurangi jumlah server yang diperlukan untuk mendukung aplikasi streaming interaktif langsung bervolume tinggi
- Performa Mengesankan - Alveo MA35D dilengkapi unit pemrosesan video berbasis ASIC yang mendukung standar kompresi AV1 dan optimalisasi kualitas video berkemampuan AI yang membantu memastikan pengalaman video lancar dan lancar.
- Teknologi AV1 Future-Ready - dengan jalur peningkatan untuk mendukung standar baru seperti AV1, Alveo MA35D memberi Microsoft solusi yang dapat beradaptasi dengan kebutuhan pemrosesan video yang terus berkembang.
Prosesor AMD EPYC Generasi Keempat saat ini mendukung berbagai VM komputasi untuk keperluan umum, intensif memori, komputasi optimisasi, dan dipercepat di Azure.
VM ini menunjukkan pertumbuhan dan permintaan untuk prosesor AMD EPYC di cloud dan dapat memberikan kinerja hingga 20% lebih baik untuk VM tujuan umum dan intensif memori dengan harga/kinerja yang lebih baik, dan kinerja CPU hingga 2x lebih baik untuk VM dengan komputasi optimal dibandingkan VM bertenaga prosesor AMD EPYC generasi sebelumnya di Azure. Kini dalam preview, seri VM Dalsv6, Dasv6, Easv6, Falsv6 dan Famsv6 akan tersedia secara umum dalam beberapa bulan mendatang.
Source, credit image: AMD
Anda mungkin suka:Review AMD Ryzen 7 PRO 7840HS Octa Core, Prosesor Laptop Kencang Kelas Profesional
Posting Komentar