AI 모델이 커질수록 GPU보다 메모리가 먼저 병목이 된다는 사실, 현장에서 직접 체감했습니다. 최근 1~2년 사이 고객사와 대화할 때 "GPU 몇 장"보다 "HBM 몇 스택, 어느 세대, 패키징 구성"을 먼저 묻게 되더라고요. 단순히 반도체 업황이 좋아서가 아니라, AI 추론이라는 새로운 사용처가 만들어낸 구조적 수요 변화가 실감났습니다. 학습 단계를 넘어 추론 시대로 접어들면서, 메모리 대역폭과 용량이 성능을 좌우하는 시대가 왔다는 분석이 나오는데, 과연 이게 장기 트렌드일지 단기 과열인지 따져볼 필요가 있습니다.
추론 확산과 메모리 병목 현상
AI 모델이 학습에서 추론 중심으로 이동하면서, 연산 성능보다 메모리 성능이 체감 속도를 결정하는 국면이 왔습니다. 여기서 추론(Inference)이란 학습된 AI 모델이 실제 사용자 질문에 답변을 생성하는 과정을 의미하는데, 최근 ChatGPT나 Gemini를 써보신 분들은 아시겠지만 예전처럼 즉답이 아니라 "분석 중", "검증 중" 같은 중간 단계가 표시됩니다. 이게 바로 체인 오브 소트(Chain of Thought) 방식으로, 모델이 답변 전에 스스로 검증하고 꼬리를 물며 생각하는 과정입니다.
이 과정에서 GPU는 연산을 담당하지만, 이전 단계의 생각들을 계속 불러와야 하기 때문에 메모리가 데이터를 얼마나 빨리 공급하느냐가 핵심이 됩니다. 제가 직접 데이터센터 구축 프로젝트를 보면서 느낀 건, 장비가 들어오는 순간이 끝이 아니라 전력 인입, 냉각, 운영 소프트웨어까지 통으로 설계되어야 한다는 점이었습니다. 특히 HBM(High Bandwidth Memory) 같은 고대역폭 메모리는 GPU 옆에서 코어로 데이터를 빠르게 전달하는 역할을 하는데, 추론 단계가 많아질수록 메모리가 피드해야 할 양이 천문학적으로 늘어나게 됩니다.
"메모리 센트릭 AI"라는 표현이 나오는 이유가 여기 있습니다. 학습은 어느 정도 포화에 도달하면, 그 이후엔 기업이 실전에서 응용하는 추론 용도가 폭발적으로 증가하고, 이때 메모리가 병목 지점이 된다는 분석입니다(출처: 보스턴컨설팅그룹). 실제로 2024년 기준 HBM이 데이터센터 원가에서 차지하는 비중이 2023년 대비 14배 성장했다는 전망도 나왔고, SK하이닉스 같은 메모리 반도체 업체의 실적이 100조 원 단위로 육박하는 것도 이런 구조적 수요 변화 때문입니다.
다만, 이 서사에는 과열된 측면도 있습니다. 제 경험상 서비스 성능은 메모리만으로 결정되지 않고, 네트워크 스케일아웃, KV-cache 관리, 소프트웨어 최적화, 모델 압축·양자화, 구조 변화로 병목이 계속 이동합니다. "메모리 센트릭"이 장기 트렌드일 가능성은 있지만, 병목은 고정되지 않고 움직인다는 점을 간과하면 안 됩니다.
HBM 수급 전쟁과 한국의 경쟁력
현재 글로벌 빅테크 기업들이 HBM 확보를 위해 전쟁을 벌이고 있습니다. 미국 빅테크 임원이 반도체를 구하지 못해 해고됐다는 일화까지 나올 정도로, HBM 수급이 기업 경쟁력을 좌우하는 상황입니다. 엔비디아 CEO 젠슨 황이 한국을 "동맹"이라고 표현한 것도, HBM 없이는 자사 GPU가 제 성능을 낼 수 없기 때문입니다.
여기서 HBM이란 GPU 옆에 수직으로 쌓아 올린 고대역폭 메모리를 뜻하는데, 기존 DRAM보다 데이터 전송 속도가 월등히 빠르고 전력 효율도 뛰어납니다. SK하이닉스는 2015년경 AMD와 먼저 HBM 파트너십을 맺었는데, 만약 AMD가 그때 이 기술을 밀었다면 지금 엔비디아와 시장을 양분했을 겁니다. 지금 하이닉스는 최소 1년 이상 고객 주문이 끝나 있고, 생산 능력을 단기간에 늘릴 수 없어 가격이 급등하며 역대급 실적을 기록하고 있습니다(출처: 통계청 반도체 수출입 통계).
한국의 반도체 경쟁력을 정리하면 다음과 같습니다.
- HBM 시장에서 SK하이닉스가 기술력과 양산 속도 면에서 선두를 유지하고 있음
- 삼성전자도 HBM 개발에 박차를 가하고 있지만, 하이닉스와의 격차가 존재
- 마이크론이 경쟁하고 있으나, 한국 업체들의 점유율과 기술 로드맵이 우위
솔직히 이 상황이 영원할 거라고 보긴 어렵습니다. 고객사의 다변화 전략(마이크론 육성, 자체 칩 개발, 대체 패키징 기술)이 조금만 가속되면 시장 기대가 급하게 식을 수 있습니다. 제가 현장에서 본 건, "물량"만의 게임이 아니라 운영 가능한 형태로 묶어내는 능력이 승부를 갈랐다는 점입니다. 데이터센터는 장비만 들여놓는다고 끝이 아니라, 전력·냉각·유지보수·소프트웨어까지 통으로 설계돼야 합니다.
또한 중국의 창신메모리(CXMT) 같은 업체가 DRAM 시장 점유율 10%를 돌파하며 4~5강으로 급부상하고 있어, 한국 업체의 지속 가능한 경쟁우위(수율, 생산능력, 고객 포트폴리오, 기술 로드맵)를 냉정하게 확인해야 할 시점입니다. 단기 호황에 도취되기보다, 장기 전략을 세워야 합니다.
AI 인프라 경쟁은 단순히 반도체 성능 싸움이 아니라, 전력·냉각·인력·제도까지 포괄하는 생태계 경쟁입니다. 한국이 HBM 강자라는 현실에 안주하지 말고, 정부는 규제 완화와 인력 양성에, 기업은 기술 로드맵과 고객 다변화에 집중해야 합니다. 제 판단으론, 메모리 병목이 실재하는 건 맞지만 그게 영구적 트렌드인지는 기술 진화 속도를 지켜봐야 합니다. 결국 "누가 지속 가능한 경쟁력을 갖췄는가"를 따로 떼어 냉정하게 확인하는 게, 이 열풍 속에서 우리가 할 일입니다.