루이지애나주립대의 ‘Eyes-On’ 프로젝트는 기관절개관을 사용하는 영아를 계속 살피는 컴퓨터 비전 시스템을 연구합니다. 기관절개관이 빠지면 즉시 조치가 필요하지만, 아기는 울음으로 도움을 요청하기 어려울 수 있습니다. 의료진이 모든 순간을 직접 지켜보는 것도 현실적으로 쉽지 않습니다.

연구진은 메타의 공개 이미지 분할 모델인 SAM*을 활용해 관의 위치와 아이의 움직임을 추적하고, 이상 징후가 나타나면 알리는 방식을 시험합니다. 병실 카메라와 가까운 장치에서 영상을 처리하는 구조도 검토합니다. AI가 진단을 대신하기보다 사람이 놓치기 쉬운 변화를 먼저 알려주는 보조 장치에 가깝습니다.

이 프로젝트는 카메라가 아이의 얼굴을 알아보는 기능보다 관과 신체의 위치 변화를 안정적으로 구분하는 데 초점을 맞춥니다. 조명과 자세가 달라져도 같은 대상을 계속 추적해야 하고, 움직임을 위험 신호로 잘못 판단하는 경우도 줄여야 합니다. 경고가 너무 자주 울리면 의료진이 실제 위험을 놓칠 수 있으므로, 정확도와 알림 방식 모두 임상 환경에서 검증해야 합니다.

인디애나대 연구진은 치매를 앓는 고령자의 대화를 영상과 음성으로 함께 분석합니다. 일반적인 대화형 AI는 말이 끊기거나 같은 표현이 반복될 때 의도를 잘못 이해할 수 있습니다. 연구 목표는 이런 대화 특성을 파악해, 사회적 로봇이나 대화 에이전트가 개인의 속도와 표현 방식에 맞춰 반응하도록 하는 것입니다.

이 연구에서는 빠른 정답보다 상대가 대화를 이어가도록 기다리고 되묻는 반응을 우선합니다. 연구진은 사람마다 다른 인지 변화와 의사소통 패턴을 모델이 얼마나 민감하게 구분할 수 있는지 살필 계획입니다. 의료·돌봄 환경에서는 정확도뿐 아니라 당사자의 존엄과 동의가 함께 다뤄져야 합니다.

치매 환자의 대화는 사람마다 변화 양상이 다르고, 같은 사람도 컨디션에 따라 표현이 달라질 수 있습니다. 연구진은 말의 내용만 보는 대신 표정과 목소리, 대화 순서를 함께 살피는 다중 방식 분석을 계획합니다. 로봇이 대화를 주도하기보다 이용자가 자신의 속도로 의사를 표현하도록 반응을 조절하는 것이 목표입니다. 일반 대화 모델을 그대로 가져오기보다 실제 참여자와 검증해야 할 부분입니다.

오하이오주립대는 일반 진료에서 촬영한 복부 CT와 장기간의 의료 기록, 가능할 경우 심전도 정보를 함께 살펴 심부전 위험을 예측하는 연구를 진행합니다. 특히 증상이 비만이나 다른 질환과 비슷해 초기에 알아채기 어려운 ‘박출률 보존 심부전*’이 대상입니다.

실제 의료 기록에는 모든 검사가 빠짐없이 들어 있지 않습니다. 연구진은 일부 정보가 없는 상황에서도 작동하도록 모델을 설계하고 있습니다. 메타는 캘리포니아공대와 UTHealth Houston을 포함한 다섯 학교에 연구비와 모델 접근, 연구진 협업을 지원합니다. 성과의 기준은 화려한 시연이 아니라 병원 현장에서 재현 가능한지, 환자에게 안전한지 검증하는 과정이 될 것입니다.

심부전 연구는 복부 CT처럼 이미 다른 목적으로 찍은 검사에서 추가 신호를 찾는다는 점이 특징입니다. 새로운 검사를 요구하지 않고 기존 기록을 활용할 수 있다면 위험을 더 일찍 발견할 가능성이 생깁니다. 그러나 의료 기록에는 검사 시점과 장비, 환자 집단에 따른 차이가 큽니다. 연구 결과가 특정 병원의 데이터에만 맞지 않는지, 누락 정보 때문에 특정 환자에게 불리한 판단을 하지 않는지 확인해야 합니다.

메타의 지원은 의학 외에도 물리학, 화학, 생물학, 컴퓨터과학, 수학 연구를 포함합니다. 다섯 학교는 같은 모델을 쓰더라도 각 문제에 맞는 데이터와 평가 방법을 따로 설계합니다. 범용 AI의 성능표보다 개별 연구 현장에서 어떤 오류가 생기고 사람이 어디에서 검토하는지가 더 중요한 단계입니다.