"생성형 인공지능(AI)의 등장으로 무엇을 신뢰할 수 있는지에 대한 판단이 흐려질 수밖에 없습니다.
딥페이크나 딥보이스를 이용한 공격은 보안에 위협적일 뿐 아니라 사회적으로 가장 큰 불안을 일으킬 수 있죠."

구글의 AI 개발사 구글 딥마인드에서 AI 사이버 보안 기술 연구를 이끄는 엘리 버츠테인(Elie Bursztein) 팀장은 최근 아시아경제와의 인터뷰에서 이같이 진단했다.
버츠테인 팀장은 2011년 구글에 입사 후 2023년 구글 딥마인드에 합류했다.
사이버 보안에 활용할 수 있는 AI 기술을 연구하고 있다.

생성형 AI는 사이버 공격의 무기로 활용되고 있다.
진짜 같은 이미지, 영상을 만드는 '딥페이크'나 목소리를 모사하는 '딥보이스'가 대표적이다.
AI가 만든 가족 목소리로 돈을 요구하거나 회사 임원을 사칭한 영상으로 기밀 정보를 빼내는 식이다.
완전히 새로운 기술은 아니지만 누구나 이런 기술을 사용할 수 있게 된 것이 중요한 변화라고 버츠테인 팀장은 지적했다.
그는 "생성형 AI 이전에는 딥페이크를 만들 때 코딩이나 소프트웨어(SW)에 대한 전문 지식이 필요했다"며 "반면 지금은 다른 사람과 얘기하듯 AI와 대화하면서 악성코드나 딥페이크를 만드는 기술에 쉽게 접근할 수 있다"고 말했다.

복잡한 작업까지 뚝딱해내는 AI의 능력도 보안에는 위협으로 작용한다.
과거에는 AI가 번역을 하거나 특정 이미지를 인식하는 등 한정된 기능을 했다.
달리 말하면 좋은 모델을 판단하는 기준이나 제한해야 할 기능이 명확했다.
반면 '만능 조수'가 된 AI는 그리 단순하지 않다.
화가처럼 그림을 그리면서도 진짜 같은 누드 사진을 만들어선 안 된다.
보안을 위해선 AI 모델에 허용되는 것과 그렇지 않은 것에 대한 기준을 심어둬야 하는데 그 경계선 자체가 모호하다는 것이다.
그 결과, 일명 '탈옥'한 AI가 악성코드 같은 유해한 결과물을 만들기도 한다.
AI 탈옥은 특정한 명령어나 상황을 입력해 AI가 윤리 기준을 우회하게 만드는 것이다.

동시에 AI는 보안 위협을 막는 '방패'도 진화시켰다.
보안의 핵심은 수많은 데이터 속에 공격자가 심은 특정 코드를 파악하는 것이다.
데이터가 많아질수록 이를 발견하는 게 어렵지만 AI를 활용하면 얘기가 달라진다.
버츠테인 팀장은 "데이터가 많을수록 AI의 공격 탐지 정확도는 더 높아진다"며 "대신 사람은 더 복잡한 보안 문제에 집중할 수 있다"고 설명했다.
공격자가 전체 시스템을 파악하고 취약점을 찾아내야 하는 반면 방어자는 방대한 정보 분석은 AI에 맡기고 방어 능력을 높일 수 있다.
이런 점에서 AI는 방어자에게 더 유리한 환경을 제공한다고 그는 강조했다.

중요한 것은 창과 방패가 될 수 있는 AI를 어떻게 활용하느냐다.
보안 관점에서 AI를 적극 활용하는 한편 AI 모델이 만드는 생성물을 어디까지 허용할지에 대한 사회적인 논의가 필요하다는 지적이다.
버츠테인 팀장은 "사기꾼이나 해커는 언제나 존재했고 그들은 항상 새로운 방법을 찾아낸다"며 "결국 어떻게 하면 AI를 인간의 조력자로 만드느냐가 중요하다"고 말했다.