AI 서비스의 속도는 화면에 표시되는 모델 이름만으로 결정되지 않습니다. 입력을 처리하고 답변을 생성하는 동안 칩과 메모리, 네트워크가 얼마나 빠르게 움직이는지에 따라 첫 응답을 기다리는 시간과 서비스 운영 비용이 달라집니다.
OpenAI가 첫 자체 AI 추론 프로세서로 소개한 ‘Jalapeño’의 테스트 결과를 공개했습니다. 이번 발표는 모델 경쟁의 무게중심이 알고리즘에서 인프라 전체로 넓어지고 있다는 점을 보여줍니다. 다만 공개된 수치는 OpenAI가 설계한 환경에서 측정한 자체 결과이므로, 실제 서비스 성능과 동일하게 받아들이기보다 비교 조건을 함께 살펴봐야 합니다.
OpenAI가 공개한 첫 자체 추론 칩의 성능
OpenAI는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 등 세 개의 공개 모델을 대상으로 Jalapeño를 테스트했다고 밝혔습니다. 비교 대상은 NVIDIA GB200과 GB300 기반 시스템이며, 공개 벤치마크인 SemiAnalysis InferenceX를 활용했습니다.
OpenAI의 발표에 따르면 Jalapeño는 최대 처리량 기준으로 전력당 AI 처리량이 비교 시스템보다 1.5~1.9배 높았고, 종단 간 응답 지연시간은 1.7~3.6배 낮았습니다. 사용자와 여러 번 상호작용하는 작업에서는 사용자당 디코딩 처리량이 2.1~4.1배 높게 측정됐다고 설명했습니다.
GPT-OSS 120B 테스트에서는 전력 1킬로와트당 최대 처리량이 초당 8만 5,448토큰으로, GB200 기반 비교 시스템의 초당 4만 4,960토큰보다 높았습니다. 종단 간 응답 지연시간은 1.03초로 비교 시스템의 1.80초보다 짧았습니다. DeepSeek R1 670B에서는 사용자당 디코딩 처리량이 초당 700토큰으로, 비교 시스템의 초당 169토큰보다 높았다고 OpenAI는 밝혔습니다.
빠른 칩보다 짧은 응답 경로가 중요합니다
AI 추론은 크게 프리필과 디코드로 나뉩니다. 프리필은 사용자의 입력을 먼저 읽고 처리하는 단계로 연산 성능의 영향을 크게 받습니다. 디코드는 답변을 토큰 단위로 생성하는 단계로, 메모리 대역폭과 데이터 이동 속도가 중요한 역할을 합니다.
OpenAI는 Jalapeño를 프로세서 하나가 아니라 메모리, 네트워크, 소프트웨어, 서버가 결합된 시스템으로 설계했다고 설명했습니다. 모델이 앞서 처리한 정보를 저장하는 KV cache를 필요한 위치에 가깝게 두고, 프로세서 사이의 데이터 이동과 통신 지연을 줄이는 방식입니다.
이 접근이 중요한 이유는 AI 에이전트처럼 한 작업 안에서 여러 번의 추론을 반복하는 서비스가 늘고 있기 때문입니다. 한 번의 지연은 작아 보여도 검색, 판단, 도구 실행, 결과 검토가 이어지면 대기시간이 누적됩니다. 전력 효율과 응답 속도를 함께 개선하면 같은 인프라로 더 많은 요청을 처리하고, 사용자가 기다리는 시간을 줄일 수 있습니다.
자체 벤치마크에서 확인해야 할 조건
첫째는 측정 단위입니다. 초당 토큰 수가 높더라도 어떤 모델과 입력 길이, 사용자 수, 전력 범위에서 측정했는지에 따라 결과가 달라집니다. 최대 처리량과 한 사용자가 경험하는 응답 속도도 서로 다른 지표입니다.
둘째는 비교 시스템의 구성입니다. 칩 이름이 같아도 메모리와 네트워크, 소프트웨어 최적화 상태에 따라 전체 성능이 달라질 수 있습니다. OpenAI가 강조한 결과 역시 Jalapeño 단독의 연산 능력보다 전체 시스템의 설계 효과로 읽어야 합니다.
셋째는 자체 측정이라는 한계입니다. 이번 수치는 OpenAI가 공개한 벤치마크 결과이며, 독립적인 환경에서 반복 검증된 결과인지는 기사만으로 확인하기 어렵습니다. 실제 배치 이후 서비스 환경의 안정성, 비용, 장시간 처리 성능이 추가로 공개돼야 의미를 더 정확하게 판단할 수 있습니다.
OpenAI는 올해 말부터 Jalapeño를 자체 컴퓨팅 인프라에 배치하고, 2세대와 3세대 제품 개발도 이어갈 계획이라고 밝혔습니다. 동시에 NVIDIA를 비롯한 여러 파트너사의 가속기를 계속 활용하겠다고 설명했습니다. 자체 칩은 기존 파트너를 즉시 대체하는 수단보다, 추론 인프라의 선택지와 통제 범위를 넓히는 방향에 가깝습니다.
D.Flick Note
Jalapeño 발표에서 주목할 부분은 첫 자체 칩이라는 상징보다, OpenAI가 성능의 단위를 칩에서 시스템으로 옮겨 설명했다는 점입니다. AI 서비스의 체감 품질은 연산량만으로 완성되지 않습니다. 메모리와 네트워크, 소프트웨어가 답변 생성의 전체 경로를 얼마나 짧게 연결하는지가 함께 작동해야 합니다.
앞으로 비슷한 발표를 볼 때는 “어느 칩이 더 빠른가”보다 어떤 모델과 작업, 전력 조건에서 어떤 지표가 개선됐는지 확인해야 합니다. 사용자에게 보이는 것은 한 줄의 답변이지만, 그 뒤의 경쟁은 응답 속도와 운영 비용, 인프라 통제력을 동시에 설계하는 방향으로 이동하고 있습니다.
References
- 프리필(prefill): 사용자의 입력 프롬프트를 먼저 읽고 내부 표현으로 처리하는 단계
- 디코드(decode): 처리된 정보를 바탕으로 답변을 토큰 단위로 순차 생성하는 단계
- KV cache: 모델이 다음 토큰을 생성할 때 다시 활용할 수 있도록 앞선 연산의 중간 상태를 저장하는 메모리