핫칩스 2026 — 엔비디아의 고객들이 전부 자기 칩을 들고 나왔다

2026년 8월 23~25일 스탠퍼드 메모리얼 오디토리엄에서 열린 반도체 아키텍처 학회 핫칩스(Hot Chips) 2026 사흘 전체 정리입니다. 이 학회는 신제품 발표회가 아니라 칩 설계자가 자기 칩의 내부 구조를 직접 뜯어 보여주는 자리라, 보도자료에는 없는 숫자가 여기서 처음 나옵니다.

한 줄 결론 — 이번 회차의 진짜 뉴스는 개별 칩 스펙이 아니라 무대에 오른 회사들의 명단입니다. 이틀째 오후 세션에 구글(TPU 8t·8i), 마이크로소프트(MAIA 200), 메타(MTIA), 그리고 오픈AI(할라페뇨)가 연달아 올라와 각자 자기 칩의 내부를 공개했습니다. 이 넷은 전부 엔비디아의 최대 고객입니다. 엔비디아 프로필의 위험 항목에 늘 적어둔 “최대 고객이 곧 미래의 경쟁자”라는 문장이, 이번 학회에서는 한 세션의 발표자 명단으로 압축돼 나타났습니다.

같은 날 오전에는 네트워킹 세션에서 브로드컴과 엔비디아가 맞붙었고, 첫날에는 엔비디아 루빈·AMD MI455X·인텔 크레센트 아일랜드가 랙 단위 설계를 나란히 공개했습니다. IBM은 전혀 다른 방향에서 메인프레임 코어 안에 Arm 명령어를 통째로 심어 왔습니다.

큰 그림 — 누가 누구의 칩을 설계하고 있나

빅테크가 자체 칩을 만든다는 말은 직접 공장을 돌린다는 뜻이 아닙니다. 설계는 브로드컴·미디어텍·마벨 같은 주문형 반도체(ASIC) 설계 회사가 맡고, 생산은 TSMC가 합니다. 그래서 “고객이 엔비디아를 떠난다”는 흐름은 그 자체로 다른 회사들의 매출이 됩니다.

① 이틀째 오후 — 빅테크 자체 칩 세션

구글 TPU 8세대 — 처음으로 학습용과 추론용을 쪼갰다

구글이 8세대 TPU를 하나가 아니라 두 개로 내놓았습니다. 지금까지 TPU는 한 칩이 학습과 추론을 겸했는데, 이번에 처음으로 용도를 갈랐습니다.

• TPU 8t (학습용) — 포드(pod, 칩 묶음) 하나가 9,600칩까지 붙고, 공유 고대역폭 메모리 2페타바이트, 연산 121엑사플롭스입니다. 이전 세대 아이언우드(TPU 7) 대비 포드당 연산 약 3배, 칩 간 대역폭 2배이고, 실제 연산에 쓰인 시간 비율(goodput)을 97% 이상으로 잡았습니다.
• TPU 8i (추론용) — 고대역폭 메모리 288GB에 온칩 SRAM 384MB(이전 세대의 3배)를 얹었습니다. 칩 간 연결 대역폭은 19.2Tb/s로 2배, 네트워크 지름(칩과 칩 사이 최대 거리)을 절반 이하로 줄였고, 새 집합통신 가속 엔진으로 지연을 최대 5분의 1로 줄였다고 밝혔습니다. 아이언우드 대비 성능 대비 가격이 80% 좋다는 것이 핵심 주장입니다.
• 두 칩 모두 아이언우드 대비 전력당 성능 2배를 주장하며, 일반 공급은 2026년 하반기입니다.

증가감소단위: %

TPU 8t — 포드당 연산 (아이언우드 대비)약 3배 (121엑사플롭스)

+200%

TPU 8i — 성능 대비 가격아이언우드 대비 +80%

+80%

TPU 8i — 온칩 SRAM (128MB → 384MB)3배

+200%

TPU 8i — 칩 간 연결 대역폭 (→ 19.2Tb/s)2배

+100%

전력당 성능 (두 칩 공통)2배

+100%

투자 관점에서 중요한 건 쪼갠 이유입니다. 학습은 칩을 최대한 많이 붙여 한 덩어리로 쓰는 게 중요하고, 추론은 한 번의 응답을 얼마나 싸고 빠르게 내놓느냐가 중요합니다. 두 요구가 갈라질 만큼 추론 물량이 커졌다는 뜻이고, 이는 토큰 증가에 베팅하는 섹터의 전제가 실제 하드웨어 설계에서 확인된 사례입니다.

오픈AI 할라페뇨 — 학회의 마지막 발표이자 가장 공격적인 숫자

이번 학회를 닫은 것은 오픈AI였습니다. 6월에 이름만 공개했던 추론 전용 칩 할라페뇨(Jalapeño)의 스펙과 벤치마크를 처음으로 공개했습니다 (이 절은 8월 25일 발표 보도를 반영해 발행 후 갱신했습니다).

• 칩 — 정격 700W(테스트 워크로드에서 실측 지속 전력은 550W 이하), 패키지당 HBM4 6스택 216GiB·대역폭 15.4TB/s. 브로드컴과 공동 개발이고, 최초 설계부터 양산용 설계 확정까지 9개월이 걸렸습니다.
• 랙·포드 — 랙 하나에 128칩(4비트 기준 1.7엑사플롭스, HBM4 27.5TB), 포드는 2,048칩입니다.
• 벤치마크 — 독립 리서치사 세미어낼리시스의 공개 추론 벤치마크(InferenceX)에서 엔비디아 블랙웰 시스템 대비 와트당 처리량 1.5~1.9배, 응답 지연 1.7~3.6분의 1을 기록했다고 발표했습니다. 자체 칩 진영이 엔비디아 대비 우위를 공개 벤치마크 수치로 주장한 첫 사례급 발표입니다 — 다만 측정 조건 선택권이 발표자에게 있는 숫자라는 점은 감안해야 합니다.
• 배치 시점 — 2026년 말 소량 배치, 2027년 본격 확대(발표 기준).

모델을 만드는 회사가 그 모델을 돌릴 칩까지 직접 설계한다는 것은, AI 밸류체인에서 가장 위쪽에 있는 고객이 가장 아래쪽까지 내려왔다는 뜻입니다. 그리고 그 칩의 설계 파트너가 브로드컴이라는 사실은, 이 학회 내내 반복된 “이탈의 수혜는 설계사가 가져간다”는 구도의 가장 선명한 사례입니다.

메타 MTIA·마이크로소프트 MAIA 200·세레브라스·삼바노바

• 메타 MTIA — 자체 AI 칩 프로그램의 400~500 시리즈를 발표했습니다. 생성형 AI 추론에 맞춘 최적화가 초점이고, 초기 MTIA 100은 7nm, 200은 5nm, 300 시리즈 이후로는 3nm로 올라간 것으로 알려져 있습니다.
• 마이크로소프트 MAIA 200 — 올해 1월 배치를 시작한 칩으로, TSMC 3nm에 트랜지스터 1,400억 개 이상, FP4 기준 10페타플롭스 이상, 고대역폭 메모리 216GB(7TB/s), 소비전력 750W입니다. 오픈AI의 GPT-5.2 서비스와 마이크로소프트 365 코파일럿 작업을 이미 이 칩이 돌리고 있습니다.
• 세레브라스는 웨이퍼 한 장을 통째로 칩으로 쓰는 방식의 랙 규모 시스템을, 삼바노바는 데이터플로 구조의 SN50 RDU를 공개했습니다.
• 같은 세션에 엔비디아의 Groq 3 LPX도 올라, GPU와 추론 전용 칩(LPU)을 섞는 이종 구조를 설명했습니다.

② 첫날 — 랙 3파전

이번 학회의 첫날은 사실상 “칩 한 개”가 아니라 “랙 한 대를 누가 통째로 설계하느냐”의 경쟁이었습니다. 세 회사가 모두 CPU·가속기·네트워킹을 한 묶음으로 들고 나왔습니다.

가속기 한 개에 붙은 메모리 — 이번 학회에서 공개된 칩들 (GB)

인텔 크레센트 아일랜드 (LPDDR5X)480HBM 대신 저가 메모리

480HBM 대신 저가 메모리

AMD MI455X (HBM4)432대역폭 23.3TB/s

432대역폭 23.3TB/s

엔비디아 루빈 (HBM4)288대역폭 22TB/s

288대역폭 22TB/s

구글 TPU 8i (HBM)288온칩 SRAM 384MB 별도

288온칩 SRAM 384MB 별도

마이크로소프트 MAIA 200 (HBM3e)216대역폭 7TB/s

216대역폭 7TB/s

IBM AI 가속기 (HBM3e)96대역폭 약 4TB/s

96대역폭 약 4TB/s

엔비디아 — 루빈 GPU와 CPU 내재화 완성

• 루빈(Rubin) GPU — 트랜지스터 3,360억 개로 블랙웰의 1.6배이고, 한 패키지에 다이 두 개를 얹은 구조입니다. TSMC 3nm 공정에 HBM4 288GB를 붙여 메모리 대역폭 22TB/s를 냅니다(블랙웰의 HBM3e 대비 2.8배). NVLink 6로 랙을 묶습니다.
• 베라(Vera) CPU — 자체 설계 코어 ‘올림푸스(Olympus)’ 88개로 구성된 Arm v9.2 호환 CPU입니다. 이전 세대 그레이스가 Arm에서 라이선스 받은 코어를 썼던 것과 달리, 올림푸스는 아키텍처 자체를 엔비디아가 설계했습니다. 트랜지스터 2,270억 개, 소켓당 메모리 대역폭 1.2TB/s·최대 용량 1.5TB이고, SPEC CPU 2026 벤치마크가 함께 공개됐습니다. 회사는 x86 CPU 대비 작업 완료 속도 1.8배·효율 2배를 주장합니다(회사 발표 기준).
• Groq 3 LPX — 2025년 12월 라이선스로 확보한 Groq의 추론 전용 칩 기술을 랙 단위로 묶은 시스템입니다(한 대에 LPU 256개). 완전 양산 진입을 8월 24일 발표했고, 독립 벤치마크 기관 Artificial Analysis 측정에서 오픈소스 모델을 10만 토큰 문맥으로 처리하며 초당 3,400 토큰을 기록했다고 밝혔습니다.
• 루빈 CPX — 초장문 문맥 추론 전용 GPU로, 베라 루빈 NVL144 CPX 랙은 AI 연산 8엑사플롭스, 메모리 100TB, 대역폭 1.7PB/s를 랙 하나에 담습니다.
• CUDA의 RISC-V 확장 — 파트너사 SiFive와 함께 CUDA를 RISC-V로 넓히는 작업을 공개했습니다. x86·Arm에 이은 세 번째 CPU 아키텍처가 되는 초기 단계입니다.

증가감소단위: %

루빈 GPU — 트랜지스터 (블랙웰 대비)1.6배 (3,360억 개)

+60%

루빈 GPU — 메모리 대역폭 (블랙웰 HBM3e 대비)2.8배 (22TB/s)

+180%

베라 CPU — 코어 수 (그레이스 72 → 88)자체 설계 코어로 전환

+22%

베라 CPU — 메모리 대역폭 (500GB/s → 1.2TB/s)약 2.4배

+140%

AMD — MI455X와 헬리오스 랙, 그리고 “개방형”이라는 무기

이 글의 이전 판에서는 AMD가 이번 학회에서 새로 공개한 내용이 확인되지 않는다고 적었으나, 사실이 아니었습니다. AMD는 첫날 GPU 세션에서 두 개의 발표(MI400 시리즈 GPU 아키텍처, MI400 시스템 아키텍처)를 했습니다.

• MI455X — 트랜지스터 3,200억 개, HBM4 432GB에 대역폭 23.3TB/s로 메모리만 놓고 보면 엔비디아 루빈(288GB·22TB/s)보다 큽니다. 연산 다이는 TSMC N2, 주변 다이는 N3P를 쓰는 칩렛 구조이고, L2 캐시 192MB를 공유합니다.
• 헬리오스(Helios) 랙 — GPU 72개, HBM4 31TB, 대역폭 1.7PB/s, AI 연산 2.9엑사플롭스입니다. 컴퓨트 트레이 하나에 MI455X 4개와 EPYC 베니스 CPU 1개가 들어가고, 액체냉각 방식입니다.
• AMD가 반복해 강조한 것은 스펙보다 개방형 표준입니다. 랙 내부 연결에 폐쇄형 규격이 아니라 이더넷 기반 개방 표준(UALoE·ESUN)을 쓴다는 점을 엔비디아 NVLink와의 차별점으로 내세웠습니다.

성능 숫자를 엔비디아와 1:1로 비교하기는 어렵습니다 — 연산 수치의 기준 정밀도(FP4·FP8 등)가 서로 다르고 둘 다 회사 발표 기준이기 때문입니다. 다만 메모리 용량·대역폭이라는 같은 잣대의 항목에서 AMD가 앞선 숫자를 제시했다는 사실 자체는 이번 학회의 관전 포인트였습니다.

인텔 — CPU와 추론 GPU를 한 자리에서

• 다이아몬드 래피즈(차세대 제온 7) — 최대 256개 P코어, L3 캐시 1.28GB, 16채널 DDR5 12,800 MT/s, PCIe Gen6입니다. 64코어 컴퓨트 타일 4개를 3D 패키징으로 묶은 구조입니다.
• 크레센트 아일랜드 — 고밀도 추론용 데이터센터 GPU로, HBM 대신 LPDDR5X를 최대 480GB 얹어 큰 모델과 긴 문맥을 저비용으로 처리하는 데 초점을 맞췄고 공랭 350W에 들어갑니다. 위 차트에서 홀로 회색으로 튀는 이유가 이 설계 선택입니다.
• 와일드캣 레이크(코어 시리즈 3) — 클라이언트·엣지용 칩으로, Xe3 그래픽과 최대 17 TOPS의 신경망 처리 장치(NPU)를 결합했습니다.
• 세 제품 모두 인텔 18A 계열 공정과 개방형 칩렛 표준 UCIe를 공유합니다.

증가감소단위: %

코어 수 (제온 6900P 128 → 다이아몬드 래피즈 256)2배

+100%

L3 캐시 (504MB → 1.28GB)약 2.5배

+154%

메모리 채널 (12채널 → 16채널)DDR5 속도도 6,400→12,800 MT/s로 2배

+33%

③ 이틀째 오전 — 네트워킹, 이번 학회의 숨은 격전지

칩이 커질수록 병목은 칩 밖으로 옮겨갑니다. 이틀째 오전 세션이 통째로 네트워킹·인터커넥트였던 이유입니다.

• 브로드컴 토르 울트라(Thor Ultra) — 업계 첫 800G AI 이더넷 네트워크 카드(NIC)로, 수십만 개 가속기를 하나의 작업에 묶는 것을 목표로 합니다. 개방형 규격(UEC)을 따르고, 패킷 단위 다중 경로·순서가 뒤바뀐 패킷의 직접 전달·선택적 재전송·프로그래밍 가능한 혼잡 제어를 담았습니다. 호스트 연결은 PCIe Gen6 x16입니다.
• 엔비디아 블루필드-4 — 최대 800Gb/s 이더넷·인피니밴드를 처리하는 데이터 처리 장치(DPU)로, 64코어 CPU를 품고 이전 세대 대비 대역폭 2배·연산 최대 6배를 냅니다. 상위 구성인 STX는 베라 CPU와 결합해 최대 1.6Tb/s를 지원하고, 추론에서 재사용되는 계산 결과(KV 캐시)를 전용 계층에 두는 기능을 포함합니다.
• 엔비디아 스펙트럼-X 멀티플레인 — 여러 평면으로 나눈 네트워크 구조로 대규모 AI 작업의 통신을 설계 단계에서 함께 최적화하는 접근입니다.
• 모조 비전(Mojo Vision)의 광 입출력 — 전기 대신 빛으로 칩 사이를 잇는 대규모 병렬 연결을 공개했습니다.

브로드컴과 엔비디아가 같은 세션에서 나란히 발표했다는 구도 자체가, AI 데이터센터의 연결 계층이 이더넷 진영(브로드컴)과 전용 규격 진영(엔비디아)의 정면 경쟁으로 굳어졌음을 보여줍니다.

④ CPU — IBM과 후지쯔가 던진 다른 질문

AI 가속기에 가려졌지만, 이번 학회에서 기술적으로 가장 이례적인 발표는 IBM이었습니다.

• IBM 차세대 Z·리눅스원 — 하나의 코어가 z/아키텍처(메인프레임 명령어)와 Arm 명령어를 둘 다 하드웨어로 직접 실행하는 업계 최초의 이중 명령어 코어입니다. 2nm 공정에 코어 11개, 기본 동작속도 5.7GHz 이상, 코어당 L2 캐시 36MB이고, Arm 명령어 2,792개를 구현했습니다. 2세대 AI 가속기는 코어 16개에 새 데이터 형식(FP4·MXFP4)을 지원하고, 이전의 LPDDR5에서 HBM3e 96GB(약 4TB/s)로 갈아탔습니다. 가용성 목표는 99.999999%입니다.
  • 왜 이렇게 만들었나 — 고객이 “메인프레임 코드를 버리고 Arm으로 가느냐”를 선택하지 않아도 되게 만들려는 것입니다. 기존 자산을 그대로 두고 Arm 생태계의 소프트웨어를 같은 기계에서 돌리게 하는 설계입니다.
• 후지쯔 MONAKA — Arm 기반 데이터센터 CPU로 코어 144개입니다. 코어 다이는 TSMC N2P, SRAM·입출력 다이는 N5로 나눠 만든 뒤 3D로 붙였습니다(하이브리드 본딩). DDR5 12채널이고, 고성능형 500W와 고효율형 350W 두 종입니다. 2027년 출시 예정이며, 후속 MONAKA-X는 1.4nm에서 NVLink 지원을 계획하고 있습니다.
• Arm — 칩렛 기반 AGI 서버 SoC를 공개했습니다.

⑤ 튜토리얼 데이 — 메모리가 먼저였다

본회의 전날인 23일 튜토리얼은 메모리에 통째로 배정됐습니다. 마이크론이 HBM 아키텍처, 삼성전자가 베이스 다이 기술, SK하이닉스가 패키징을 각각 맡았고, d-매트릭스가 3D-DRAM을 가속기에 직접 통합하는 작업을 발표했습니다.

이 배치 자체가 메시지입니다 — 이번 학회에 나온 거의 모든 가속기(루빈·MI455X·TPU 8i·MAIA 200·IBM 가속기)가 HBM 용량과 대역폭으로 서로를 이기려 했고, 그 HBM을 만드는 회사는 위 세 곳뿐입니다. HBM 삼국지에서 추적 중인 흐름이 이번 학회에서는 “모든 발표의 공통 전제”로 나타났습니다.

로드맵 타임라인

• 구글 TPU 8t·8i — 일반 공급 2026년 하반기(구글 발표 기준).
• 엔비디아 베라 루빈 NVL72 — 이미 양산 개시 단계로, 3월 GTC 2026에서 공개된 대로 마이크로소프트 애저가 하이퍼스케일러 최초로 가동을 시작했습니다.
• Groq 3 LPX — 완전 양산 진입을 8월 24일 발표.
• 마이크로소프트 MAIA 200 — 2026년 1월 배치 시작, 이미 실서비스 운영 중.
• AMD MI455X·헬리오스 — 7월 어드밴싱 AI 2026에서 공개된 제품의 아키텍처 상세가 이번에 나왔습니다.
• 인텔 크레센트 아일랜드 — 2026년 하반기 고객 샘플링, 매출 기여는 2027년.
• 인텔 다이아몬드 래피즈 — 2027년 중반 출시. 애초 2026년이 거론됐다가 밀렸습니다.
• 후지쯔 MONAKA — 2027년.
• 오픈AI 할라페뇨 — 2026년 말 소량 배치, 2027년 본격 확대(8/25 발표 기준).
• 메타 MTIA 400~500 — 구체적 양산·배치 일정은 이번 발표에서 확인되지 않았습니다.

커버 기업 연결

• 엔비디아 — 8월 27일 2분기 실적 발표를 이틀 앞두고 열린 학회입니다. 루빈·베라·LPX가 로드맵에서 실물로 넘어가고 있다는 점은 3월 GTC 2026의 수주 궤도를 뒷받침하지만, 같은 학회의 이틀째 오후 세션이 최대 고객 넷이 각자 대안을 만들고 있다는 증거이기도 합니다. 이 두 가지가 같은 사흘 안에 나왔다는 점이 이번 회차의 핵심입니다.
• 브로드컴 — 이번 학회의 조용한 최대 수혜자입니다. 자체 이름으로는 토르 울트라 800G NIC 하나를 발표했지만, 무대에 오른 빅테크 칩들의 설계 뒤에 반복해 등장합니다. 구글 TPU 8t의 설계 파트너로 지목됐고(보도 기준, 공식 확인 안 됨), 오픈AI와는 공동 개발 협력을 공개한 바 있습니다. “고객이 엔비디아에서 이탈할수록 브로드컴이 번다”는 구조가 이번 학회 프로그램에 그대로 드러났습니다.
• 알파벳(구글) — TPU를 학습·추론용으로 쪼갠 것은 자체 칩 프로그램이 실험 단계를 지나 제품 라인이 됐다는 뜻입니다. 클라우드 원가 구조와 직결되므로 다음 실적에서 클라우드 마진을 볼 때 함께 읽을 재료입니다.
• 마이크로소프트 — MAIA 200이 이미 GPT-5.2와 코파일럿을 돌리고 있다는 사실이 이번에 확인됐습니다. 자체 칩이 실서비스 물량을 받고 있다는 것은 애저의 AI 원가에 직접 영향을 주는 변수입니다.
• 메타 — MTIA 400~500 시리즈 공개는 추론 물량을 자체 칩으로 옮기려는 시도의 연장입니다. 설비투자 부담이 큰 회사라 자체 칩의 진척은 비용 구조 이야기와 붙여 봐야 합니다.
• 인텔 — 세 제품 모두 18A 계열 공정으로 만든다는 점에서 이번 발표는 “18A가 실제로 돌아간다”는 파운드리 턴어라운드 서사의 증거이기도 합니다. 다만 크레센트 아일랜드에 대한 시장 반응은 엇갈립니다 — 한 분석은 2027년 말까지 4대 하이퍼스케일러 중 한 곳이라도 도입을 발표할 확률을 13%로 낮게 봅니다. 이전 추론 가속기 가우디 2·3이 4대 클라우드 중 어디에도 채택되지 못한 전례가 있어, “발표”와 “채택”의 간극을 검증하는 것이 다음 단계입니다.
• AMD — MI455X의 메모리 사양이 루빈을 앞서고, 랙 설계도 완성 단계로 올라왔습니다. 개방형 표준을 앞세운 전략이 실제 고객 확보로 이어지는지가 2분기 실적 이후의 관전 포인트입니다.
• 메모리(삼성전자·SK하이닉스·마이크론) — 튜토리얼 데이를 셋이 나눠 맡았고, 본회의 거의 모든 가속기가 HBM4로 경쟁했습니다. 다만 인텔 크레센트 아일랜드는 정반대로 HBM 대신 LPDDR5X를 쓰는 설계라, 저비용 추론 경로가 자리 잡을수록 HBM 수요의 대안 경로가 될 수 있다는 점도 함께 봐야 합니다.
• 광통신·연결(루멘텀·코히런트 등) — 모조 비전의 광 입출력 발표와 800G NIC 경쟁 모두 AI 인프라 공급망(연결·광학) 섹터가 추적하는 병목과 같은 축입니다.

직전 행사(핫칩스 2025) 대비 변화

작년 학회에서 인텔이 공개한 클리어워터 포레스트(18A 첫 적용)는 약속대로 2026년 컴퓨텍스에 정식 출시돼 지금은 양산 단계입니다 — 아키텍처 학회의 로드맵이 실제 출하로 이어진 사례입니다. 반면 다이아몬드 래피즈는 2026년 출시가 거론됐다가 2027년으로 밀린 뒤에야 아키텍처가 확정 공개됐습니다.

더 큰 변화는 프로그램 구성 자체입니다. 작년까지 핫칩스는 칩 회사들의 학회였습니다. 올해는 이틀째 오후 한 세션이 통째로 “칩 회사가 아닌 회사들의 칩”으로 채워졌습니다.

---

발표 수치는 각 사 공식 뉴스룸·제품 페이지와 독립 매체(ServeTheHome·StorageReview·Tom’s Hardware·The Register·Chips and Cheese) 교차 확인 기준입니다. 성능·효율 배수 주장은 별도 표기가 없는 한 모두 회사 발표 기준이며 독립 검증치가 아닙니다. 구글 TPU 8t·8i의 설계 파트너 분담(브로드컴·미디어텍)과 메타 MTIA의 공정 노드는 매체 보도 기준으로 공식 확인되지 않았습니다.