AMD Instinct MI325X là GPU AI đầu tiên trang bị 256 GB bộ nhớ HBM3e

AMD vừa ra mắt bộ tăng tốc GPU AI Instinct MI325X mới nhất, trang bị 256 GB bộ nhớ HBM3e, trong khi MI355X ra mắt vào năm sau sẽ có 288 GB.

Trong sự kiện " Advancing AI", AMD đã giới thiệu Instinct MI325X, nâng cấp từ MI300X với những khả năng mới.

Cam kết của AMD đối với hiệu suất hàng đầu, dễ dàng di chuyển, hệ sinh thái mở và danh mục sản phẩm tập trung vào khách hàng đã thu hút sự hỗ trợ lớn từ các nhà sản xuất thiết bị gốc (OEM) và đối tác đám mây, từ đó công ty đã thúc đẩy nhanh việc ra mắt các giải pháp tiếp theo khi nhu cầu AI trong ngành gia tăng.

Hiện tại, MI300X của AMD được cho là cung cấp hiệu suất cao hơn 30% so với NVIDIA H100 trong một loạt các tác vụ AI. Công việc mà AMD đã thêm vào bộ công cụ ROCm của họ đang giúp khai thác hiệu suất tốt hơn từ bộ tăng tốc hàng đầu, nhưng giờ là lúc để xây dựng phần cứng tốt hơn với hỗ trợ phần mềm mạnh mẽ tương tự.

Sử dụng kiến trúc GPU CDNA 3, MI325X được xem như một bản nâng cấp giữa chu kỳ, cung cấp 256 GB bộ nhớ HBM3e được làm từ các cụm 16-Hi với băng thông bộ nhớ lên tới 6 TB/s, 2.6 PFLOPs hiệu suất FP8, 1.3 PFLOPs hiệu suất FP16, tất cả được tích hợp trong một chip có 153 tỷ transistor.

Các máy chủ AI Instinct sẽ có cấu hình lên tới 8 MI325X với tối đa 2 TB bộ nhớ HBM3e, băng thông infinity fabric 896 GB/s, băng thông bộ nhớ 48 TB/s, 20.8 PFLOPs hiệu suất FP8 và 10.4 PFLOPs hiệu suất FP16. Mỗi GPU cũng được cấu hình ở mức 1000W, tăng đáng kể so với các cấu hình 750-700W của MI300X.

AMD cho biết bộ tăng tốc GPU AI Instinct MI325X sẽ nhanh hơn 40% so với NVIDIA H200 trong Mistral 8x7B, nhanh hơn 30% trong Mistral 7B, và nhanh hơn 20% trong Meta Llama 3.1 70B LLMs. Nền tảng 8 MI325X cũng sẽ cung cấp hiệu suất nhanh hơn 40% so với nền tảng AI H200 HGX trong Llama 3.1 405B và nhanh hơn 20% trong bài kiểm tra suy diễn 70B. Về đào tạo AI, MI325X sẽ cung cấp hiệu suất tương tự hoặc tốt hơn 10% so với các nền tảng H200.

Vào năm sau, AMD dự định ra mắt bộ tăng tốc GPU Instinct MI355X mới, nhắm đến các tác vụ AI, được xây dựng bằng quy trình 3nm. GPU này sẽ tích hợp kiến trúc CDNA 4. Về thông số, bộ nhớ sẽ được nâng cấp lên dung lượng cao hơn, tối đa 288 GB HBM3e và hỗ trợ các loại dữ liệu FP4/FP6.

AMD hoc biết kiến trúc CDNA 4 mang lại mức hiệu suất cao hơn 35 lần so với CDNA 3, tăng 7 lần trong tính toán AI, tăng 50% dung lượng/băng thông bộ nhớ và đi kèm với những cải tiến về hiệu suất mạng mới nhất.

GPU AI Instinct MI355X sẽ cung cấp tới 2.3 PFLOPs hiệu suất FP16, tăng 80% so với MI325X, trong khi các số liệu FP8 cũng tăng 80% lên 4.6 PFLOPs so với MI325X. Hiệu suất tính toán FP6 và FP4 được đánh giá ở mức 9.2 PFLOPs. MI355X sẽ đánh dấu mức tăng 50% cả về dung lượng bộ nhớ và băng thông bộ nhớ, với tốc độ lên tới 8 TB/s so với MI300X thế hệ hiện tại.

AMD công bố hệ sinh thái ROCm 6.2 mới nhất, mang lại cải thiện hiệu suất trung bình 2.4 lần và lên tới 2.8 lần trong một loạt các tác vụ AI trong Suy diễn và cải thiện trung bình 2.4 lần trong hiệu suất Đào tạo.

Với điều đó, AMD có vẻ đang dồn toàn lực vào xu hướng AI với các sản phẩm Instinct trong tương lai, tạo ra sự cạnh tranh mạnh mẽ với NVIDIA và cũng đang thách thức Intel, công ty đang vật lộn để bắt kịp phần còn lại.

./.

M.P theo Wccftech