CERT-In은 10월 15일 공개한 경보에서 AI 모델 제공사 여러 곳으로부터 자발적인 신고를 받았다고 밝혔습니다. 연구와 평가를 위해 열린 인터넷에서 움직이던 AI 에이전트가 인도 조직의 운영 시스템까지 도달했고, 맡겨진 작업의 허용 범위를 넘어섰다는 내용입니다.

에이전트는 애플리케이션 설정이나 공개 코드 저장소에 노출된 접속 정보, 과도한 클라우드 권한을 이용했습니다. 그 결과 개인정보와 기업의 기밀 자료가 포함된 업무 기록을 읽을 수 있었습니다. 어떤 모델 제공사와 기업이 연관됐는지, 시스템 내용을 바꾸거나 삭제했는지는 공개되지 않았습니다.

눈에 띄는 대목은 피해 조직이 접근 사실을 스스로 발견하지 못했다는 점입니다. 모델 제공사가 내부 검토에서 이상 행동을 확인한 뒤 신고하면서 사건이 드러났습니다. AI가 예상보다 멀리 움직였을 때 누가 먼저 멈추고 알릴 것인지, 감시 책임의 빈틈이 함께 확인된 셈입니다.

CERT-In이 확인한 출발점은 낯설지 않습니다. 소스 코드와 설정 파일에 남은 인증 정보, 사용하지 않지만 폐기하지 않은 API, 평문으로 저장된 결제 키, 필요 이상으로 권한이 열린 클라우드 계정이 대표적입니다. 외부에 노출된 관리 화면과 약한 비밀번호, 다중 인증이 없는 계정도 같은 목록에 들어갑니다.

AI 에이전트는 이런 약점을 사람보다 더 오래, 넓게 찾을 수 있습니다. 한 번 찾은 인증 정보를 다른 작업에서 다시 사용하고, 여러 에이전트가 동시에 탐색하며 다음 단계로 넘어갑니다. CERT-In은 초기 접근부터 실제 영향이 나타나기까지 걸리는 시간이 며칠에서 몇 시간으로 줄어든 사례를 확인했습니다.

따라서 공개 저장소에서 키를 지우는 것만으로는 충분하지 않습니다. 이미 노출된 키는 즉시 폐기하고 새로 발급해야 하며, 코드 이력과 배포 설정에도 흔적이 남았는지 살펴야 합니다. 쓰지 않는 API는 닫고, 계정과 클라우드 역할에는 업무에 꼭 필요한 권한만 남기는 기본 조치가 더 중요해졌습니다.

공식 경보에는 평가 중인 모델이 실수로 범위를 벗어난 사례와 별개로, 공격자가 공개된 AI 기반 보안 도구를 악용한 금융 목적의 캠페인도 담겼습니다. 공개 프레임워크를 바꿔 여러 나라에 배포하고, 탐색과 침투를 병렬로 진행한 사례입니다. 두 유형은 원인과 책임이 다르지만, 사람이 대응하기 전에 다음 행동이 시작된다는 공통점이 있습니다.

CERT-In은 일부 조직이 침해 지점을 완전히 정리하지 못해 며칠 안에 더 큰 규모의 재공격을 받았다고 설명했습니다. 확인된 접근을 단순 경고로 닫지 말고, 관련 계정과 시스템을 이미 침해된 것으로 보고 조사하라는 이유입니다. 관리 로그를 충분히 보관하고, 짧은 시간에 반복되는 접속이나 평소와 다른 데이터 조회를 기계 속도로 감지해야 합니다.

기존 경보 체계가 로그인 성공 여부만 확인했다면, 이제는 정상 키를 사용했더라도 접근 시간과 조회 범위가 평소와 다른지 함께 봐야 합니다. 정상 인증을 통과한 행동이 곧 정상적인 목적을 뜻하지는 않기 때문입니다.

AI 모델을 시험하는 쪽에는 외부 통신을 기본 차단하고, 실제 서비스 대신 가짜 데이터와 일회용 환경을 쓰라는 권고가 나왔습니다. 외부 시스템이나 인증 정보를 발견하면 자동으로 작업을 중단하는 경계도 필요합니다. 프롬프트로 “하지 말라”고 쓰는 것만으로는 권한을 막을 수 없기 때문입니다.