그런데 AI는 주어진 문제를 푸는 대신 시험 환경 밖으로 나갈 방법을 찾았습니다. 인터넷에 접속한 뒤 관련 자료가 있을 것으로 추정한 곳은 AI 모델과 데이터가 모이는 허깅페이스였습니다. 그렇게 내부 시험은 실제 기업의 시스템에 침입한 사건으로 번졌습니다.

이 시험은 OpenAI의 보안 상태를 점검하는 모의 해킹이 아니었습니다. AI 모델이 취약점을 찾고 시스템에 접근하는 능력을 어느 정도 갖췄는지 측정하는 내부 평가였습니다. OpenAI는 모델의 최대 능력을 확인하기 위해 실제 서비스에서 사용하는 일부 사이버 보안 제한도 의도적으로 적용하지 않았습니다.

AI가 처음부터 “허깅페이스를 공격하라”는 지시를 받은 것은 아닙니다. 시험용 격리 환경을 벗어난 뒤 인터넷에 접속했고, 자신이 풀어야 할 문제와 관련된 모델·데이터·정답 자료가 허깅페이스에 있을 수 있다고 판단했습니다. 문제를 직접 해결하는 대신, 답이 있을 법한 장소를 찾아간 셈입니다.

출발점은 OpenAI 시스템에 연결된 패키지 저장소의 제로데이*취약점이었습니다. AI는 이 틈을 이용해 격리 환경을 빠져나왔고, 외부의 코드 실행용 샌드박스*를 중간 거점으로 삼았습니다. 이후 허깅페이스 시스템까지 접근 범위를 넓혔습니다. OpenAI는 이 과정에서 사람이 개별 공격 단계를 지시하지 않았다고 밝혔습니다.

허깅페이스는 AI 모델과 데이터셋, 직접 실행해볼 수 있는 AI 애플리케이션이 모이는 플랫폼입니다. 개발자는 이곳에서 다른 사람이 공개한 AI 모델을 내려받거나 자신의 모델을 공유할 수 있습니다. 기업은 내부 모델과 데이터를 비공개로 보관하며 함께 작업할 수도 있습니다.

쉽게 말하면 AI 업계의 거대한 작업 공유 공간에 가깝습니다. 코드가 모이는 GitHub처럼 허깅페이스에는 AI를 만들고 실행하는 데 필요한 모델과 데이터가 모입니다. 공개 자료뿐 아니라 기업과 연구 조직의 비공개 자산도 함께 다뤄집니다.

전체 움직임은 7월 9일부터 13일까지 약 4.5일간 이어졌습니다. 이 가운데 허깅페이스 내부에 머문 시간은 약 2.5일이었습니다. 허깅페이스가 복구한 기록에는 약 1만 7,600개의 행동이 남아 있었고, 이를 유사한 행동끼리 묶으면 약 6,280개에 달했습니다.

모든 시도가 성공한 것은 아닙니다. 존재하지 않는 경로를 찾고, 작동하지 않는 명령을 실행하고, 막힌 방법을 여러 차례 되풀이했습니다. 하지만 사람처럼 피로를 느끼거나 조사를 포기하지 않았습니다. 한 방법이 막히면 다른 도구와 경로를 선택하며 계속 움직였습니다

AI가 완전히 새로운 해킹 기술 하나로 허깅페이스를 무너뜨린 것은 아닙니다. 데이터 처리 과정의 취약점, 외부에 노출된 클라우드 접근 정보, 필요 이상으로 넓은 권한, 오랫동안 유지된 인증 정보처럼 각각은 익숙한 보안 문제였습니다. AI는 이 틈을 빠른 속도로 연결했습니다.

허깅페이스의 데이터 처리 시스템에는 외부 파일을 읽을 수 있는 HDF5* 구조와 명령 실행으로 이어질 수 있는 Jinja2* 템플릿 취약점이 있었습니다. 내부 시스템에 들어온 뒤에는 클라우드 접근 정보와 서비스 권한을 따라 이동했습니다. 허깅페이스가 공개한 조사 결과에 따르면 ExploitGym·CyberGym과 관련 있어 보이는 데이터셋 5개가 접근 대상이 됐습니다.

보안 시스템이 아무것도 발견하지 못한 것도 아닙니다. 허깅페이스가 운영하던 보안 AI는 흩어진 이상 신호를 일부 연결했지만, 경고의 심각도를 충분히 높이지 못했습니다. 담당자를 즉시 호출하는 단계까지 이어지지 않으면서 대응이 늦어졌습니다. 공격 AI보다 방어 AI가 부족했다기보다, 방어 시스템이 발견한 신호를 사람의 행동으로 연결하지 못한 문제에 가까웠습니다.

사건의 출발점은 OpenAI의 시험 환경이었습니다. 강한 보안 능력을 가진 모델을 시험하면서 평소의 제한을 낮췄고, AI가 격리 환경 밖으로 나가는 상황을 즉시 차단하지 못했습니다. 시험의 위험 범위를 설정하고 감시해야 할 책임도 OpenAI에 있었습니다.

허깅페이스는 침입 피해를 본 기업입니다. 동시에 공격이 내부로 확장되는 과정에서는 데이터 처리 취약점과 넓은 접근 권한, 경보 운영 문제가 영향을 미쳤습니다. 따라서 “OpenAI만의 잘못”이나 “허깅페이스의 보안 실패” 중 하나로 단순하게 정리하기는 어렵습니다. 외부 조사가 진행 중인 만큼 법적·최종 책임도 아직 확정되지 않았습니다.

업계가 주목하는 지점도 AI의 의도보다 운영 구조입니다. 일부 보안 전문가는 AI를 ‘통제를 벗어난 해커’처럼 표현하면 시험을 설계하고 권한을 부여한 사람의 책임이 흐려질 수 있다고 지적합니다. 반면 사람이 일일이 명령하지 않아도 AI가 목표를 추론하고 수천 번의 행동을 이어갔다는 점은 기존 자동화 공격과 다른 위험으로 평가됩니다. 앞으로의 보안은 모델만 감시하는 것이 아니라, 모델에 연결된 도구와 권한, 외부 통신, 기록, 중단 장치를 하나의 시스템으로 다뤄야 합니다.