초거대 인공지능(AI) 개발 경쟁이 활발한 가운데, 저전력 프로세서인 ARM 서버 환경에서 AI 모델을 만들고 운영할 수 있는 세계 첫 상업용 소프트웨어(SW) 플랫폼이 나왔다.
래블업의 '백엔드닷에이아이(Backend.AI)' 최신 버전(21.09) 얘기다.
저전력 고성능 슈퍼컴퓨터 구축과 지연시간 없는 5G 기반 AI 서비스 확산의 촉매가 될 전망이다.
다음은 신정규 래블업 대표와 나눈 일문일답.
Q. 래블업은 어떤 회사인가.
"AI를 쉽게 활용할 수 있게 만들자는 생각으로 2015년 창업한 회사다.
회사 이름은 연구실·실험실을 뜻하는 '랩(Lab)'과 업그레이드(Upgrade)의 '업'을 합쳤다.
모든 머신러닝·딥러닝 기술을 다루는 절차를 간소화한다는 것을 목표로 시작했다.
지금은 백엔드닷에이아이라는 오픈소스 솔루션을 개발해 상업용으로 공급·판매하고 있다.
창립멤버 모두 오픈소스커뮤니티에서 만난 인연이다.
"
Q. AI개발플랫폼을 새로 만들었다던데.
"백엔드닷에이아이라는 기존 AI 개발플랫폼을 ARM 기반 시스템에서 구동할 수 있도록 이식해, x86과 ARM 플랫폼을 함께 지원한다.
이전까지는 범용 서버나 클라우드 환경에서만 AI 기술 활용을 위한 딥러닝 모델 제작과 운영이 이뤄져야 했다면, 이제 하나의 AI 개발플랫폼 기술로 클라우드, 에지컴퓨팅, 스마트폰이나 소형 사물인터넷(IoT) 기기, 자율주행플랫폼까지 대응할 수 있다.
"
Q. AI를 다루는 개발자·기업에 어떤 의미인가.
"기업과 개발자가 AI 모델 훈련부터 서비스까지, 인프라와 사용자 기기가 x86인지 ARM인지를 신경쓰지 않아도 되는, 최초의 상업용 AI 개발플랫폼을 만들었다.
AI 기술로 일반 소비자들을 위한 서비스를 구현하는 '온디바이스AI(On-device AI, 사용자 기기에서 직접 구동되는 AI 기술)' 영역이 급성장 중인데, 기업들이 이 분야에 대비할 수 있는 솔루션을 선제적으로 내놓은 것이다.
"
Q. x86 플랫폼 생태계가 공고하지 않나.
"큰 시장 관점에서, x86 생태계 전반이 ARM 기반으로 대전환하는 시기다.
아마존웹서비스(AWS)는 수년 전부터 '그래비톤'이라는 서버용 ARM 칩을 만들어 클라우드서비스로 제공한다.
작년말엔 애플이 'M1'이라는 ARM 칩을 탑재한 맥북을 처음 선보였는데 x86 CPU 모델에 필적한 성능을 보여줘 기술 커뮤니티에 파장이 일었다.
웬만한 플랫폼이 모두 (x86에서) ARM으로 넘어갔다.
"
Q. AI용 GPU 시스템은 x86 플랫폼이다.

"기존 GPU 컴퓨팅 시스템의 최대 문제가 전력소비량이었는데, CPU를 저전력인 ARM 기반으로 전환해 이 문제를 일부 해소할 수 있다.
주요 생태계 참여 기업들이 내부적으로 ARM 생태계 대응을 준비하고 있다.
엔비디아는 내년이나 내후년에 ARM 기반 GPU 서버 시스템을 제공하지 않을까 예상한다.
2년 내에 GPU 컴퓨팅 환경 역시 ARM 기반으로 많이 넘어갈 것으로 보고 있다.
"
Q. 기업의 ARM 플랫폼 수요가 바뀔까.
"많은 기업이 전력당 성능과 멀티코어 인프라 구축에 유리하다고 판단하고 x86 시스템을 ARM 기반으로 전환하려는 추세다.
일본의 '후가쿠(후지쯔·이화학연구소 공동개발 슈퍼컴퓨터, 올해 상반기 기준 세계 성능 1위)'가 ARM 기반으로 개발됐다.
고성능컴퓨팅(HPC)과 머신러닝·빅데이터 분야에서 ARM 활용 시도가 늘었다.
앞으로 2~3년간 그 수요가 꾸준히 증가할 것이라고 본다.
"
Q. ARM 수요 증가를 확신하는 이유는.
"AI와 실생활 서비스의 융합 시나리오를 사업모델로 삼는 5G 인프라가 확산되고 있기 때문이다.
5G 모바일에지컴퓨팅(MEC) 영역에서 사용자와 중앙 클라우드에 연계해, 개인화 AI 서비스를 구현하는 것이 경쟁력이 된다.
기업이 AI 서비스를 제공할 대상 기기로 가전, 의료기기, 자율주행차 등을 폭넓게 상정하고 있기 때문에 결국 ARM 플랫폼을 함께 쓸 수밖에 없다.
"
Q. AI 가속칩 제조사가 직접 ARM을 지원할 수 있지 않나.
"그래프코어의 IPU나 하바나(인텔에 인수된 하바나랩스의 제품) 칩도 자체 소프트웨어(SW) 스택 안에서는 크로스플랫폼 지원 준비가 돼 있다.
하지만 각자 만들어 내놓는 자사 하드웨어만을 지원한다.
실제로 기업은 특정 업체가 아니라 용도에 맞게 여러 업체 하드웨어를 쓸 필요가 있는데, 그 때 하드웨어마다 다른 SW 플랫폼을 다뤄야 한다.
우리는 그걸 공통화해 줄 수 있다.
"
Q. 공통화의 의미와 이점이 뭔가.
"백엔드닷에이아이는 3년 전부터 아키텍처와 디바이스를 추상화해 왔다.
개발자가 AI 애플리케이션을 구현하는 단계에서 해야 하는 고민을 많이 줄일 수 있다.
예를 들어 하나의 AI 애플리케이션을 구현할 때, 일부는 구글 텐서프로세싱유닛(TPU)이고 일부는 그래프코어 IPU로 돼 있는 자원 풀을 통합적으로 활용해 훈련하고 추론하는 데 쓸 수 있다.
"
Q. 래블업의 플랫폼 확산 전략은.
"지금 AI 모델 개발플랫폼 시장에서의 선도적 입지를 다지고 해외 진출을 강화해 나갈 예정이다.
모델을 실제 서비스할 때 필요한 '추론' 부분의 기능을 확장하는 데 투자하고 있다.
엔비디아의 자율주행플랫폼 '젯슨'이나 IoT 등, 크고 작은 하드웨어 자원을 모두 효율적으로 쓸 수 있게 만들겠다.
머신러닝 개발부터 서비스까지 모든 단계에서 견고한 플랫폼을 구축하려고 한다.
"
Q. 어떤 시장을 공략할 계획인가.
"x86와 ARM을 모두 지원하는 백엔드닷에이아이로 올해와 내년 공공·민간 분야의 5G나 MEC 실증서비스에서 두각을 나타낼 것이라 기대한다.
교육·의료 분야 맞춤형 개인화 서비스 구현 분야에도 기회가 있다고 본다.
초거대 AI 모델 얘기가 나오면서 더 낮은 비용으로 고성능을 얻기 위한 기술이 더욱 중시되고 역시 ARM 도입이 많아질텐데, 이런 변화에도 선제 대응할 수 있다.
"
Q. 백엔드닷에이아이 공급 현황은.
"현재 국내 전자·통신 대기업이 백엔드닷에이아이의 주 고객이고, 금융권에서도 이 플랫폼을 활용하고 있다.
다른 전자 업종 기업들이 개념검증(PoC) 단계로 도입을 검토하고 있다.
대학교에는 파격적인 할인 프로그램을 제공해 플랫폼을 보급하고 있다.
한정된 수요층을 대상으로 클라우드 기반 서비스를 시범 제공하고 있는데, 아직 정식 과금 모델을 적용한 상품은 아니다.
"
Q. 클라우드에서 활용할 수 있나.
"지금은 백엔드닷에이아이를 자체 데이터센터에서 구축형 플랫폼으로 쓰는 고객이 굉장히 많다.
고객이 직접 AWS같은 퍼블릭 클라우드에 구축시 비용이 3배 이상으로 훨씬 비싸지기 때문이다.
장기적으로는 우리가 불특정 다수에 제공하는 클라우드 기반 서비스형SW(SaaS)로 사업모델을 확장하려고 한다.
이 클라우드 서비스를 1년 이상 시범 운영하며 정식 오픈을 준비하고 있다.
"
Q. SaaS 버전은 언제 나오나.
"ARM 서버 인프라가 널리 보급돼 전력당 성능 비율이 좋아지고, ARM 생태계에 활용 가능한 AI 가속기를 퍼블릭 클라우드 사업자들이 경쟁적으로 도입하는 시점이 올 것이다.
백엔드닷에이아이를 클라우드 영역에서 활용하는 비용이 점점 떨어져서 자체 구축하는 비용보다 더 저렴해지는 교차점이 한 3년 뒤에 올 것으로 본다.
그 때에 맞춰 엔터프라이즈 시장에 제공하는 게 목표다.
"