인공지능을 실현할 수 있는 기술 가운데 하나인 기계학습은 수많은 데이터를 분석해 일정 규칙이나 패턴을 추출, 알고리즘을 생성한다. 이 학습 단계에선 주어지는 데이터가 많을수록 학습 정도가 높아진다. 하지만 개인은 물론 연구기관이라도 양이나 질적으로 높은 데이터를 확보하기는 쉽지 않다. 그런데 이런 기계학습에 활용할 수 있는 거대 데이터 세트 출시를 야후가 발표해 눈길을 끈다. 데이터는 1,000억 건이 넘는 규모다.
야후는 수많은 트래픽을 모아 일반 소비자 관련 서비스를 제공하고 있다. 야후는 지금까지 자사 사이트 내에서 사용자 행동을 데이터화해서 산하 야후랩스(Yahoo Labs)를 통해 기계학습 문제 해결에 활용해왔다. 그런데 이런 야후랩스가 지금까지 거의 외부에 공개하지 않았던 데이터를 공개한다고 밝힌 것이다.
공개 데이터는 2015년 2월부터 3월까지 취득한 데이터로 야후 뉴스 페이지에 표시되는 뉴스 피드에 사용자 2,000만 명이 취한 행동을 기록한 것이다. 데이터 건수는 1,100억 건에 달하며 데이터 용량을 압축하지 않은 상태에서 13.5TB, 압축해도 1.5TB라는 엄청난 용량이다. 물론 데이터는 익명으로 처리하고 있다.
공개된 데이터에는 사용자 행동 데이터 뿐 아니라 연령과 성별, 지리적 데이터 등이 하위 집합으로 포함되어 있다. 또 항목별 요소로 뉴스 기사 제목과 개요, 핵심 문구가 포함되어 있어 분석에 도움을 준다.
사용자 상호 작용 데이터는 행동이 일어난 시간과 어떤 단말에서 접근이 이뤄졌는지 같은 내용이 담겨 있다. 야후의 이번 결정은 대규모 기계학습이나 추천 시스템 분야에서 독립적인 연구를 촉진시키고 산업계와 학계의 연구 수준 격차를 해소하기 위한 것이다. 야후랩스는 지금까지 이런 거대 데이터를 활용해 행동 모델링 추천 기능 시스템이나 대규모 분산 기계학습, 랭킹 기능, 온라인 알고리즘 콘텐츠 모델링, 시계열 마이닝 같은 연구를 진행해왔다. 야후랩스가 공개한 자료는 이곳에서 내려 받을 수 있다.<저작권자(c) 테크홀릭(<a href=https://s.ppomppu.co.kr?idno=review2_44915&target=aHR0cDovL3d3dy50ZWNoaG9saWMuY28ua3Iv&encode=on target=_blank>http://www.techholic.co.kr/). 무단전재-재배포금지> * 이 기사는 제휴를 통해 뽐뿌에 제공되고 있습니다. | 
등록안내
등록안내
