인공지능(AI) 시대에 각광받고 있는 고대역폭메모리(HBM) 성장에 이상기류가 감지된다.
AI가속기 수요가 계속 증가하면서 HBM 지위 역시 여전히 건재하다는 평가가 지배적이지만 HBM 없이 AI칩을 만들기 위한 노력이 속도를 내면서 탈(脫) HBM 움직임이 본격화하는 것 아니냐는 전망이 나온다.
이르면 올해 연말부터 변화의 바람은 시작될 것이란 관측이다.

19일 반도체 업계와 외신들에 따르면 HBM을 쓰지 않는 AI가속기 신제품들이 이르면 올 연말과 내년 상반기 사이에 국내외에서 잇달아 출시된다.
우리나라에선 삼성전자와 네이버가 손잡고 개발 중인 AI가속기 ‘마하-1’이 이르면 올해 안에 성능 테스트에 나선다.
개발이 순조롭게 이뤄지면 출시와 본격적인 상용화는 내년 초가 유력하다.
마하-1은 네이버가 핵심 소프트웨어(SW)를 설계하고 삼성전자가 칩의 디자인과 생산을 맡고 있다.
마하-1에는 HBM이 아닌 저전력 D램(LPDDR)이 들어간다.
LPDDR은 HBM보다 전력 소모량이 적고 가격이 싸다.

해외에선 캐나다 반도체 스타트업 텐스토렌트가 올 연말 AI 칩 ‘블랙홀’을 상용화한다.
최근 텐스토렌트는 블랙홀 개발에 성공하고 현재 대만 TSMC를 통해 생산하는 것으로 전해진다.
블랙홀은 이전 버전인 ‘웜홀’이 성능에서 엔비디아의 제품을 30%밖에 따라가지 못해 보였던 한계를 극복하고 전력 소비도 줄였다는 평가를 받는다.
이는 엔비디아를 위협할 신제품으로 주목받고 있다.
텐스토렌트는 블랙홀을 발판 삼아 내년에는 AI 칩렛 ‘퀘이사’도 출시할 계획이다.
텐스토렌트 CEO인 짐 켈러는 HBM이 고가라는 점을 지적하며 비효율적이라고 평가하는 대표적인 인물로 꼽힌다.
텐스토렌트는 자사 제품들에 그래픽용 D램(GDDR6)을 사용했다.
이들 외에도 스타트업 도전도 활발하다.
국내 반도체 팹리스인 퓨리오사AI는 다가오는 4분기에 LPDDR이 탑재된 엣지디바이스용 NPU ‘레니게이드S’를 출시할 예정이다.

마하-1 등 기업들이 현재 개발 중인 AI가속기들은 대부분 ‘추론용’이다.
텐스토렌트의 제품들만 학습, 추론이 모두 가능한 모델로 개발되고 있다.
AI가속기는 ‘학습용’과 ‘추론용’으로 나뉘는데, HBM을 쓰는 엔비디아의 AI 가속기가 학습용 시장의 90%를 장악하고 있다.

추론용 AI가속기에서 HBM 사용을 줄이는 움직임이 시장 전체에 미치는 영향력은 아직 작다.
하지만 시장 판도를 바꾸는 첫 단추를 끼운다는 점에서 의미가 있다는 평가다.
‘HBM의 아버지’로 불리는 김정호 카이스트 교수는 "학습용에선 앞으로 약 10년간 HBM이 주도하는 시스템이 바뀌지는 않을 것이라고 본다"면서도 "추론용은 HBM 없이 경량화해서 저전력으로 해보려는 시도들이 많이 있다.
일부는 HBM을 대체하는 게 가능할 것"이라고 내다봤다.

그럼에도 HBM을 대체하려는 움직임은 최근 들어 두드러지는 양상이다.
가장 큰 이유는 가격이다.
HBM 칩당 가격은 최선단인 5세대의 경우 CPU에 투입되는 DDR5의 7~8배에 달한다.
짐 켈러 텐스토렌트 CEO는 최근 인터뷰에서 "HBM은 분명 훌륭하지만, 비용 효율면에서는 떨어진다"면서 "발전시켜 나가기엔 가격이 너무 비싼 측면이 있다"고 말했다.
이어 "현재 시장에선 대체품을 사용함으로써 HBM의 가격을 떨어뜨리거나 보다 비용 효율적인 기술을 사용하려는 노력이 있다"고 말했다.

이는 HBM 공정이 까다로운 것과 관련이 있다.
HBM은 D램을 수직으로 쌓아 올리고 웨이퍼 표면을 평탄화하는 CMP 공정을 거쳐서 만들어진다.
CMP 공정을 거치면 D램 표면이 평탄해지고 칩의 두께를 최소화한다.
이 과정에선 많은 인력 또는 회사, 장비 등이 사용되는데, 결국 HBM 단가를 끌어올리게 된다.

전 세계에서 HBM을 가장 많이 만들어 팔고 있는 SK하이닉스부터 방향 조정을 시사한 것도 눈여겨볼 필요가 있다.
SK하이닉스는 이달 초 경기도 이천 본사에서 미래포럼을 열고 ‘포스트 HBM’을 의제로 올렸다.
HBM 이후 자사가 메모리 시장의 우위를 지키는 한편, 제품 가치를 높이고 AI 시대를 이끌어갈 방법을 내외부 전문가와 함께 찾아본다는 취지로 열렸다.

곽노정 SK하이닉스 사장은 "인공지능이 본격적으로 발전하고 가속화하면서 미래가 명확해지고 예측 가능해질 줄 알았는데 훨씬 모호하고 예측이 어려워졌다"며 "다양한 시나리오에 기반해 어떻게 미래를 준비할지 폭넓게 고민하고 이야기해야 하는 상황이 됐다"고 말했다.
HBM의 다음을 준비해야 할 시점에 이르렀단 점을 시사한 것이다.

‘포스트 HBM’은 실리콘밸리에서도 나온다.
AMD 같은 칩 메이커, 반도체 설계기업 ARM 등이 HBM이 필요 없는 AI 칩을 만드는 도전을 하고 있는 것으로 알려졌다.

반도체 시장에서 HBM에 대한 전망은 여전히 낙관적이다.
미국 증권사 번스타인은 지난 6월 내년 매출 기준 전 세계 HBM 시장 규모가 올해보다 2배 이상 커진 약 250억달러(약 33조원)에 이를 것으로 전망했다.

HBM이 비싸더라도 기업들이 쓰는 이유는 지금 그를 대체할 만한 제품이 없어서다.
가격이 더 싸고 HBM 이상의 성능을 자랑하는 제품이 나온다면 기업들의 선택은 달라질 여지가 크다.
범진욱 서강대 전자공학과 교수는 "HBM이 차츰 성숙되면서 다양한 솔루션을 만들어낼 것으로 보지만 HBM 대체품이 차츰 만들어질 가능성도 있다"며 "엔비디아와 경쟁하는 진영에선 컴퓨트 익스프레스 링크(CXL), 프로세싱 인 메모리(PIM)도 있다.
아직 표준화가 안 된 만큼 대체까진 시간이 꽤 필요할 것"이라고 말했다.