AI GPU 경쟁의 기준이 바뀌고 있다.
과거에는 엔비디아 GPU 한 개와 AMD GPU 한 개의 연산 성능, 메모리 용량, 가격을 비교했다면 이제는 72개의 GPU와 CPU, HBM, 네트워크, 전력, 액체냉각, 소프트웨어를 하나로 묶은 ‘랙 전체’가 하나의 AI 컴퓨터처럼 경쟁하는 단계로 넘어가고 있다.
AMD가 2026년 7월 본격 공개한 Helios(헬리오스)가 대표적이다.
헬리오스는 72개의 AMD Instinct MI455X GPU와 6세대 EPYC ‘Venice’ CPU, Pensando 네트워킹, ROCm 소프트웨어를 하나의 랙 스케일 플랫폼으로 결합한다.
반대편에는 엔비디아의 NVL72 아키텍처가 있다. 2026년 기준 최신 비교 대상은 초기 GB200 NVL72보다 한 세대 앞선 Vera Rubin NVL72로 보는 것이 적절하다.
더 중요한 변화는 고객이다. 메타, 오픈AI, 오라클, 마이크로소프트 같은 대형 AI 사업자가 더 이상 특정 GPU만 구매하는 것이 아니라 수십만 개의 가속기를 어떤 랙 구조와 네트워크, 소프트웨어 체계로 운영할 것인지까지 결정하고 있다.
GPU 시장의 경쟁이 데이터센터 아키텍처 경쟁으로 커지고 있다는 의미다.
AMD 헬리오스와 엔비디아 NVL72는 무엇이 다른가
헬리오스는 AMD가 처음부터 랙 전체를 경쟁 단위로 설계한 플랫폼이다
AMD Helios의 핵심은 MI455X라는 GPU 자체보다 72개의 GPU를 하나의 대형 연산 영역으로 묶는 데 있다.
헬리오스 한 랙에는 72개의 MI455X GPU가 들어가며, AMD 발표 기준 최대 31TB의 HBM4 메모리와 1.7PB/s 수준의 총 HBM 대역폭을 제공한다.
GPU 사이의 스케일업 대역폭은 최대 260TB/s, 랙 밖으로 확장하는 스케일아웃 대역폭은 43TB/s로 제시됐다.
연산 성능도 랙 단위로 표시한다. AMD는 헬리오스 한 랙에 대해 최대 2.9엑사플롭스의 OCP MXFP4 연산 성능과 1.4엑사플롭스의 FP8 성능을 제시하고 있다.
MI455X 한 개의 성능보다 ‘72개가 실제 하나의 시스템으로 얼마나 효율적으로 작동하느냐’를 앞세우는 방식이다.
또 하나의 특징은 개방형 설계다. 헬리오스는 메타가 Open Compute Project에 제안한 Open Rack Wide(ORW) 구조를 기반으로 하며 UALink, Ultra Ethernet 계열 표준을 활용한다.
AMD는 헬리오스를 완제품 랙 한 종류로 판매하기보다는 OEM과 ODM이 자체 시스템을 만들 수 있는 레퍼런스 디자인으로 정의하고 있다.
엔비디아 NVL72의 강점은 GPU부터 네트워크까지 이어지는 수직 통합이다
NVL72 역시 이미 GPU 서버가 아니라 하나의 랙 스케일 AI 슈퍼컴퓨터에 가깝다.
Vera Rubin NVL72는 72개의 Rubin GPU와 36개의 Vera CPU를 NVLink 6로 연결하고, ConnectX-9 SuperNIC과 BlueField-4 DPU, Spectrum-X Ethernet 또는 Quantum-X800 InfiniBand까지 하나의 플랫폼 체계로 연결한다.
Vera Rubin NVL72는 최대 3.6엑사플롭스의 NVFP4 추론 연산 성능과 2.52엑사플롭스의 NVFP4 학습 성능, 약 20.7TB의 HBM4를 제공한다.
NVLink 6를 이용한 랙 내부 스케일업 대역폭은 약 260TB/s다. 각 Rubin GPU에는 최대 1.6Tb/s 규모의 네트워크 연결도 제공된다.
다만 AMD의 MXFP4 수치와 엔비디아의 NVFP4 수치를 숫자만 놓고 직접 비교하는 것은 주의해야 한다.
데이터 형식과 측정 조건이 다르고 실제 AI 모델 성능은 GPU 계산량뿐 아니라 메모리 사용량, 통신 패턴, 소프트웨어 최적화에 크게 좌우되기 때문이다.
2026년에는 GB200이 아니라 Vera Rubin NVL72까지 봐야 한다
‘NVL72’는 특정 GPU 한 세대의 이름이라기보다 72개 GPU를 하나의 랙 스케일 도메인으로 구성하는 엔비디아 시스템 계열로 이해하는 편이 정확하다.
Grace Blackwell 기반 GB200 NVL72가 시작점이었다면 이후 Blackwell Ultra 기반 GB300 NVL72가 등장했고, 2026년에는 Vera Rubin NVL72가 차세대 주력 플랫폼으로 이어지고 있다.
엔비디아는 Vera Rubin NVL72를 3세대 MGX NVL72 랙 디자인으로 설명하며 기존 Blackwell 세대와 랙 설계의 연속성을 강조하고 있다.
따라서 AMD 헬리오스의 경쟁력을 판단하려면 GB200만 비교해서는 부족하다. AMD 역시 2026년 헬리오스 발표 자료에서 직접적인 경쟁 기준으로 Vera Rubin NVL72를 제시하고 있다.
AI GPU 경쟁은 왜 GPU 한 장에서 랙 전체로 커졌을까
거대 AI 모델에서는 GPU 연산보다 GPU 사이 통신이 병목이 될 수 있다
GPU를 많이 설치한다고 AI 성능이 같은 비율로 증가하는 것은 아니다.
거대한 모델을 여러 GPU에 분산하면 각 GPU가 계산한 데이터를 끊임없이 다른 GPU와 교환해야 한다.
특히 Mixture-of-Experts(MoE) 모델에서는 하나의 토큰을 처리하는 과정에서도 여러 GPU에 위치한 전문가 모델 사이로 데이터가 이동할 수 있다.
이 때문에 GPU 자체의 FLOPS가 높아도 GPU 간 통신이 느리면 전체 시스템 이용률이 떨어진다.
엔비디아가 NVLink 6를 통해 Vera Rubin NVL72의 72개 GPU를 하나의 대형 가속기처럼 묶으려는 이유도 여기에 있다.
AMD 역시 헬리오스에서 72개 GPU를 하나의 스케일업 도메인으로 구성하고 최대 260TB/s의 집계 스케일업 대역폭을 강조한다.
HBM 용량과 메모리 대역폭이 실제 AI 처리량을 좌우한다
AI 추론에서는 계산 능력만큼 모델과 KV 캐시를 얼마나 많은 고속 메모리에 올릴 수 있는지가 중요하다.
모델이 커지고 컨텍스트 길이가 늘어날수록 GPU 메모리 요구량은 빠르게 증가한다.
AMD가 헬리오스에서 특히 강조하는 부분이 이 지점이다. MI455X 한 개에 최대 432GB HBM4가 탑재되고, 72개 GPU를 합치면 한 랙의 HBM4 용량은 약 31TB가 된다.
AMD는 이를 대형 모델과 긴 컨텍스트, 대규모 추론 환경의 주요 경쟁력으로 제시하고 있다.
Vera Rubin NVL72 역시 약 20.7TB의 HBM4와 약 1.6PB/s의 랙 단위 메모리 대역폭을 제공하며, 엔비디아는 추론 비용과 전력당 토큰 처리량 개선을 주요 지표로 내세우고 있다.
결국 AI 인프라의 경쟁 지표도 ‘GPU 한 개가 몇 FLOPS인가’에서 한 랙이 초당 몇 개의 토큰을 안정적으로 생성하는가, 같은 전력으로 얼마나 많은 사용자를 처리하는가로 이동하고 있다.
전력과 액체냉각이 GPU 선택만큼 중요한 문제가 됐다
100개, 1,000개가 아니라 수십만 개의 GPU를 배치하는 AI 데이터센터에서는 전력과 냉각이 곧 컴퓨팅 성능의 상한선이 된다.
최신 랙 스케일 시스템은 GPU뿐 아니라 전원 공급, 액체냉각, 네트워크 스위치, 케이블 구조까지 함께 설계한다.
엔비디아 Vera Rubin NVL72는 액체냉각과 랙 단위 전력 관리, 전력 변동을 완화하는 시스템까지 랙 아키텍처에 포함한다.
AMD 헬리오스 역시 고밀도 AI 시스템을 전제로 한 ORW 구조와 액체냉각, 모듈식 트레이, 교체와 정비 편의성을 강조한다.
GPU 장애가 발생할 때 랙 전체를 장시간 멈추지 않고 부품을 빠르게 교체할 수 있는 능력까지 총소유비용에 영향을 주기 때문이다.
AMD 헬리오스가 엔비디아와 다른 승부를 거는 지점
AMD는 ‘오픈 랙’을 엔비디아의 수직 통합에 대한 대안으로 내세운다
헬리오스의 가장 뚜렷한 전략적 차별점은 개방형 표준을 전면에 내세운다는 점이다.
엔비디아는 GPU, CPU, NVLink, InfiniBand 또는 Spectrum-X Ethernet, DPU와 소프트웨어까지 긴밀하게 통합한다.
고객 입장에서는 검증된 구성요소를 하나의 시스템으로 빠르게 도입할 수 있다는 장점이 있다. Vera Rubin NVL72 역시 80개가 넘는 MGX 생태계 파트너를 통해 공급망을 확대하고 있다.
AMD는 반대로 OCP ORW, UALink, UEC 기반 Ethernet과 ROCm을 중심으로 특정 업체의 독점 인터커넥트에 대한 의존도를 줄이는 방향을 강조한다.
서버 제조사와 클라우드 사업자가 자체 데이터센터 설계에 맞춰 시스템을 구성할 여지를 넓히겠다는 전략이다.
따라서 헬리오스와 NVL72의 경쟁은 단순히 AMD GPU와 엔비디아 GPU의 싸움이 아니다.
오픈 표준 중심의 AI 인프라와 강력한 수직 통합형 AI 플랫폼 가운데 어느 방식이 대규모 데이터센터에서 더 좋은 경제성을 만드는가를 두고 벌어지는 경쟁에 가깝다.
AMD가 넘어야 할 과제는 결국 소프트웨어와 실제 운영 성능이다
AI 시스템의 성능은 사양표만으로 결정되지 않는다.
수백 또는 수천 개 GPU를 사용하는 실제 모델에서 통신 라이브러리, 커널, 컴파일러, 추론 엔진이 얼마나 잘 최적화됐는지가 중요하다.
AMD는 ROCm에서 PyTorch, TensorFlow, JAX, Triton, vLLM 등 주요 AI 개발 환경을 지원하고 있으며, OpenAI와도 Triton 및 ROCm을 이용해 GPT 계열 워크로드를 MI455X와 헬리오스에 최적화하는 협업을 진행하고 있다.
엔비디아 역시 동일한 하드웨어에서도 소프트웨어 최적화가 실제 성능을 지속적으로 높일 수 있다는 점을 보여주고 있다.
NVIDIA가 공개한 GB300 NVL72의 DeepSeek-V3 학습 결과에서는 하드웨어를 교체하지 않고 소프트웨어 최적화를 통해 수개월 사이 처리 성능이 추가로 개선된 사례가 제시됐다.
결국 AMD가 엔비디아의 점유율을 가져오기 위해서는 높은 HBM 용량이나 이론 성능뿐 아니라 실제 고객 모델에서 안정적인 성능과 낮은 토큰 비용을 반복적으로 입증해야 한다.
메타·오픈AI·오라클·마이크로소프트가 AMD 헬리오스를 선택하는 이유
메타는 엔비디아를 버리는 것이 아니라 AMD까지 공급망을 넓히고 있다
메타의 전략은 엔비디아에서 AMD로 완전히 이동하는 것이 아니라 여러 공급자를 동시에 활용하는 포트폴리오 전략에 가깝다.
메타와 AMD는 2026년 2월 최대 6GW 규모의 AMD Instinct GPU를 공급하는 다년 계약을 발표했다. 첫 1GW 구축을 지원하는 출하는 2026년 하반기부터 시작될 예정이며, 메타 워크로드에 맞춘 MI450 계열 GPU와 헬리오스 랙 스케일 아키텍처가 사용된다.
AMD는 2026년 7월 기준 메타가 헬리오스 랙에서 실제 워크로드 검증을 진행하고 있으며 대규모 배치를 준비하고 있다고 밝혔다.
그러나 메타는 동시에 2026년 2월 엔비디아와도 장기 AI 인프라 파트너십을 발표했고, Vera Rubin 플랫폼을 이용한 차세대 클러스터 구축 계획을 공개했다.
이 사례는 하이퍼스케일 사업자가 한 업체를 선택하는 시대에서 AMD와 엔비디아를 동시에 활용해 가격, 공급 능력, 워크로드 최적화를 조절하는 시대로 이동하고 있음을 보여준다.
오픈AI는 AMD와 엔비디아 양쪽에서 기가와트급 컴퓨팅을 확보한다
오픈AI 역시 단일 GPU 공급망보다 복수의 대규모 컴퓨팅 공급원을 확보하는 방향으로 움직이고 있다.
OpenAI와 AMD는 2025년 10월 총 6GW 규모의 AMD GPU 인프라를 구축하는 다년 계약을 발표했다.
첫 단계는 MI450 계열 GPU 1GW 규모로 2026년 하반기부터 시작되며, AMD는 2026년 7월 OpenAI가 4분기부터 헬리오스를 온라인 상태로 전환하기 시작하고 2027년 배치를 가속할 예정이라고 밝혔다.
동시에 OpenAI와 엔비디아는 최소 10GW 규모의 엔비디아 시스템을 구축하는 전략적 파트너십도 발표했다. 첫 1GW는 2026년 하반기 Vera Rubin 플랫폼을 기반으로 시작하는 계획이다.
따라서 OpenAI의 AMD 계약을 ‘엔비디아 교체’로 해석하는 것보다는 AI 모델 수요가 너무 커져 엔비디아와 AMD 양쪽에서 동시에 기가와트급 인프라를 확보하는 과정으로 보는 편이 현실에 가깝다.
오라클은 AMD 헬리오스의 중요한 클라우드 공급 채널이 된다
오라클은 AMD 헬리오스를 실제 클라우드에서 대규모로 제공하는 핵심 사업자 가운데 하나다.
Oracle Cloud Infrastructure는 2026년 3분기부터 5만 개의 AMD Instinct MI450 계열 GPU로 구성된 공개 AI 슈퍼클러스터를 제공할 계획이다.
해당 시스템은 헬리오스 랙 디자인과 EPYC Venice CPU, Pensando 네트워킹을 기반으로 설계된다.
여기에 Oracle은 OpenAI의 Stargate 프로젝트에서도 중요한 인프라 사업자다. OpenAI와 Oracle은 미국에서 추가로 4.5GW 규모의 Stargate 데이터센터 용량을 개발하는 계약을 발표했다.
다만 이 4.5GW 전체가 AMD GPU로 구성된다고 발표된 것은 아니므로, Oracle의 AMD 헬리오스 사업과 OpenAI Stargate 사업을 동일한 계약으로 해석해서는 안 된다.
마이크로소프트는 Azure에서 AMD와 엔비디아를 동시에 확대한다
마이크로소프트의 선택 역시 멀티벤더 전략을 가장 명확하게 보여준다.
AMD와 Microsoft는 2026년 7월 Azure에 헬리오스를 대규모 배치해 마이크로소프트 자체 AI 서비스와 Azure 고객의 프런티어 모델 추론에 활용한다고 발표했다.
AMD는 2026년 하반기부터 Microsoft를 포함한 고객에게 헬리오스 출하를 시작할 계획이다.
하지만 Azure는 동시에 엔비디아 NVL72의 핵심 클라우드 플랫폼이기도 하다. Microsoft는 2026년 3월 Vera Rubin NVL72 시스템을 자사 연구 환경에서 가동하기 시작했으며 이후 액체냉각 Azure 데이터센터로 확대 배치한다고 발표했다.
Microsoft는 이미 GB200과 GB300 NVL72를 대규모로 구축한 경험을 바탕으로 Vera Rubin까지 이어지는 데이터센터 설계를 준비해 왔다고 설명한다.
AMD가 Azure에 들어왔다는 사실 자체보다 중요한 것은 같은 데이터센터 사업자가 NVIDIA NVL72, AMD Helios, 자체 AI 가속기를 워크로드별로 선택하는 구조가 만들어지고 있다는 점이다.
앞으로 AI GPU 시장에서 봐야 할 핵심 지표는 달라진다
GPU 가격보다 토큰당 비용과 메가와트당 처리량이 중요해진다
AI 인프라 사업자에게 가장 중요한 숫자는 GPU 한 개의 가격보다 투자한 전력과 자본으로 얼마나 많은 AI 토큰을 생산할 수 있느냐가 되고 있다.
엔비디아는 Vera Rubin NVL72가 GB200 NVL72 대비 고상호작용 추론에서 토큰 100만 개당 비용을 크게 낮추고, 같은 전력에서 더 많은 토큰을 처리하는 것을 핵심 성능 지표로 내세운다.
AMD도 헬리오스를 발표하면서 단순 최대 FLOPS보다 실제 추론 처리량과 토큰당 비용을 강조했다.
AMD 자체 측정과 추정치라는 점은 감안해야 하지만, 양사가 경쟁 지표를 같은 방향으로 바꾸고 있다는 사실 자체가 중요하다.
AI 가속기의 경제성이 이제 반도체 한 개에서 결정되지 않는다는 뜻이다. GPU 이용률, HBM, 랙 내부 통신, 랙 간 네트워크, 냉각과 전력, 장애 복구, 소프트웨어 최적화가 모두 토큰 가격에 반영된다.
AMD가 공급망 2위에 안착하면 AI 인프라 시장의 협상 구조도 달라질 수 있다
AMD 헬리오스의 의미는 당장 엔비디아 NVL72를 모든 성능 지표에서 앞서는지 여부에만 있지 않다.
메타와 OpenAI가 각각 최대 6GW 규모의 AMD GPU 계약을 체결했고, Oracle이 5만 GPU 규모의 초기 클라우드 배치를 준비하며, Microsoft가 Azure에 헬리오스를 도입한다는 것은 AMD가 개별 GPU 공급자를 넘어 기가와트급 AI 인프라의 대안 공급자로 진입하고 있다는 신호다.
반대로 엔비디아는 NVLink와 CUDA를 넘어 CPU, DPU, Ethernet과 InfiniBand, 랙 아키텍처까지 통합하면서 경쟁 범위를 더 넓히고 있다.
Vera Rubin NVL72는 바로 이 풀스택 전략이 만들어낸 시스템이다.
결국 앞으로의 AMD와 엔비디아 경쟁에서 질문은 “어느 GPU가 더 빠른가”만으로 끝나지 않는다.
72개 GPU를 한 랙에서 얼마나 효율적으로 묶을 수 있는가, 수천 개의 랙을 얼마나 안정적으로 연결할 수 있는가, 그리고 같은 전력과 비용으로 얼마나 많은 AI 토큰을 생산할 수 있는가가 진짜 승부처가 된다.
그 의미에서 AMD 헬리오스의 등장은 새로운 GPU 한 종류가 추가된 사건이라기보다, 엔비디아가 앞서 구축한 랙 스케일 AI 시장에 AMD가 본격적으로 두 번째 플랫폼을 제시했다는 데 의미가 있다.
AI GPU 전쟁은 이제 반도체에서 서버로, 서버에서 랙으로, 다시 데이터센터 전체의 ‘AI 팩토리’ 경쟁으로 확장되고 있다.
자주 묻는 질문
질문 1
Q. AMD 헬리오스와 엔비디아 NVL72 중 어느 쪽의 성능이 더 높은가?
A. 단순 FLOPS 수치만으로 승자를 정하기는 어렵다. AMD Helios와 NVIDIA Vera Rubin NVL72는 사용하는 저정밀 데이터 형식과 소프트웨어, 실제 모델 조건이 다르기 때문에 HBM 용량, GPU 간 통신, 실제 토큰 처리량과 전력 효율까지 함께 비교해야 한다.
질문 2
Q. 메타와 오픈AI가 AMD GPU를 쓰면 엔비디아 사용을 중단하는 것인가?
A. 현재 발표된 내용은 엔비디아를 완전히 대체하는 방향이 아니다. 메타와 OpenAI 모두 AMD와 대규모 계약을 체결하는 동시에 엔비디아와도 장기 인프라 협력을 이어가고 있어, 공급망 다변화와 워크로드별 선택 전략에 더 가깝다.
질문 3
Q. AI GPU 비교에서 왜 이제 랙 스케일 성능을 봐야 하나?
A. 대형 AI 모델은 수십 개에서 수천 개의 GPU를 동시에 사용하기 때문에 GPU 자체 성능만 높아서는 전체 처리량이 증가하지 않는다. GPU 간 통신, HBM, 네트워크, 전력과 냉각, 소프트웨어 최적화가 함께 작동해야 높은 GPU 이용률과 낮은 토큰당 비용을 만들 수 있어 랙 전체가 실질적인 경쟁 단위가 되고 있다.
0 댓글