“AI 10년내 인류 전멸”…구글·MS 출신 소아레스 “허깅 해킹은 마지막 경고” > 한국

• 목록

기계지능연구소(MIRI) 회장 네이트 소아레스. 위키미디어 코먼스

국제미국·중남미
“AI 10년내 인류 전멸”…구글·MS 출신 소아레스 “허깅 해킹은 마지막 경고”

기계지능연구소 대표 네이트 소아레스

인공지능(AI) 안전·정렬 연구를 초기부터 선도해온 대표적 연구기관 기계지능연구소(MIRI)를 이끌고 있는  대표가 28일(현지시각) 한겨레와의 화상 인터뷰에서 최근 발생한 허깅페이스 해킹 사태를 언급하며 “인류가 받을 수 있는 ‘마지막 경고’일 수 있다”고 평가했다.

그는 현재 인공지능이 문제를 일으킬 만큼은 똑똑하지만 이를 완벽히 숨길 만큼 영리하지는 않은 이른바 ‘골딜록스 존’(Goldilocks zone, 골디락스 존)에 머물고 있다며, 정부 차원의 대응이 시급하다고 주장했다.

그는 지난해 세계적인 인공지능 안전성 학자 엘리에저 유드카우스키와 함께 초지능 개발의 위험성을 경고한 베스트셀러 ‘누군가 그것을 만들면 모두가 죽는다’(If Anyone Builds It, Everyone Dies. 한국어 번역본 ‘AI, 신의 탄생 인간의 종말’)를 출간했다.

 ‘골딜록스 존’과 연금술적 한계

소아레스가 수백개의 인공지능 에이전트들이 합세해 외부 사이트를 해킹했던 허깅페이스 사건에서 가장 주목하는 것은 인공지능 에이전트들이 이미 ‘기만’과 유사한 행동을 보였다는 점이다. 그는 당시 인공지능들이 몇 주 동안 아무도 알아차리지 못한 채 움직였으며, 채점 시스템을 속이기 위해 로그 파일을 지우고 가짜 흔적을 만들려 했지만 실패했다고 설명했다. 결국 이들이 발각된 것은 상당 부분 스스로 저지른 실수 때문이었다는 것이다.

그는 “만약 이들이 인간을 실제로 속이려고 했다면 실패했을지는 분명하지 않다”며 “앞으로 1년 정도 더 개발된 인공지능이라면 자신들이 인간에게 발견돼 종료될 수 있다는 사실을 알아차리고, 목표를 숨길 가능성이 훨씬 커진다”고 내다봤다. 그는 “우리가 예상했어야 할 경고 신호들은 이미 거의 다 봤다”며 “이제 얼마나 시간이 남았는지 장담할 수 없는 상황”이라고 했다.

그는 특히 기업들이 인공지능에 더욱 효율적인 인공지능 훈련법을 개발하도록 맡길 경우 “3개월이나 6개월 안에도” 급격한 능력 향상이 가능할 수 있다고 경고했다. 이미 ‘레드라인을 넘었을 가능성’에 대해서도 그렇지 않을 가능성이 더 높지만, “배제할 수 없다”고 말했다.
세계적인 인공지능(AI) 안전성 학자 엘리에저 유드카우스키와 함께 인공지능 안전·정렬 연구를 초기부터 선도해온 대표적 연구기관 기계지능연구소(MIRI)를 이끌고 있는 네이트 소아레스 대표가 28일(현지시각) 한겨레와 한 화상 인터뷰에서 최근 발생한 허깅페이스 해킹 사태를 언급하며 “인류가 받을 수 있는 ‘마지막 경고’일 수 있다”고 평가했다.

세계적인 인공지능(AI) 안전성 학자 엘리에저 유드카우스키와 함께 인공지능 안전·정렬 연구를 초기부터 선도해온 대표적 연구기관 기계지능연구소(MIRI)를 이끌고 있는 네이트 소아레스 대표가 28일(현지시각) 한겨레와 한 화상 인터뷰에서 최근 발생한 허깅페이스 해킹 사태를 언급하며 “인류가 받을 수 있는 ‘마지막 경고’일 수 있다”고 평가했다.

인공지능 통제 역량을 단기간에 끌어올리기 어려운 이유를 설명하면서 그는 현행 개발 방식을 “연금술”에 비유했다. 1천년 전 연금술사들이 여러 화학물질을 섞으며 결과를 관찰했듯, 오늘날 인공지능 역시 막대한 데이터로 훈련하면서도 내부에 실제 어떤 알고리즘과 성향이 만들어지는지 충분히 이해하지 못한다는 것이다. 그는 인공지능을 인간이 의도한 목표와 가치에 맞게 행동하도록 만드는 ‘정렬’(alignment) 문제를 해결하려면 “인공지능을 연금술이 아니라 과학으로 바꿔” 지능 자체를 훨씬 깊이 이해해야 한다고 말했다.

강력한 국제 통제망 구축과 한국의 역할

그가 속한 기계지능연구소는 지난해 11월 ‘초지능의 성급한 개발을 막기 위한 국제협정안’을 제시했다. 미국과 중국을 중심으로 일정 규모 이상의 인공지능 훈련을 제한하고, 첨단 인공지능 칩의 생산·판매·이동과 대규모 컴퓨팅 시설의 위치·사용처를 국제기구가 추적·검증하도록 하는 것이 핵심이다. 반면 의료·과학 연구 등 제한적인 안전 목적의 인공지능 활용은 허용한다는 구상이다.

소아레스는 인공지능 기업 내부 연구원들과 정치권 사이에 위험을 바라보는 인식 격차가 크다고 지적했다. 그는 “현재 인공지능 기업 내부 사람들은 인공지능을 제대로 행동하게 만들기 위해 직접 노력했고, 열심히 시도했는데도 문제가 발생하는 걸 알고 있기 때문에 매우 두려워하고 있다”며 “반면 워싱턴의 정치인들은 아직 위험을 제대로 알아차리지 못하고 있다”고 말했다. 그러면서 “인공지능 분야에서는 불과 몇 달 사이에도 상황이 급변한다”며 “사람들이 위험을 알아차리기 시작하면 국제적인 금지 체제를 만드는 방향으로 매우 빠르게 움직일 수 있다”고 내다봤다.

오는 11월 첫 미-중 인공지능 회의의 최우선 과제로 그는 국제적 금지 체제와, 적어도 첨단 칩이 어디로 가는지 추적해 국제 감시단이 검증할 수 있게 하는 것을 꼽았다. 회의가 오늘 당장 열린다면 멸종 수준 위험을 논의할 미-중 간 기술적 소통을 크게 늘리는 것이 최선일 것이라며, 어디까지 가능할지는 11월까지 인공지능 상황이 얼마나 급변하느냐에 달렸다고 했다.

소아레스는 첨단 인공지능 가속기에 필요한 고대역폭메모리(HBM) 공급망에서 중요한 역할을 하는 한국을 향해서도 “국제 감시체제가 구축될 경우 첨단 칩의 이동 경로와 대규모 집적 현황, 실제 사용처를 추적·검증하는 데 적극 협력해야 한다”고 강조했다.