BENCHMARK (벤치마크)
OpenAI "설정 두 개 켰더니 ARC-AGI-3 점수 3배"… 추론 유지·압축
같은 모델이라도 API 설정에 따라 성능이 크게 달라질 수 있다는 사례입니다.
핵심 사실
- OpenAI는 추론 내용을 유지하고 압축(compaction)을 켜는 두 가지 API 설정으로 GPT-5.6의 ARC-AGI-3 점수와 효율이 크게 올랐다고 설명했습니다.
왜 중요한가 · AI마중 해석
벤치마크 점수가 모델만이 아니라 '어떻게 돌리느냐'에 좌우된다는 점을 보여줍니다. 점수 비교 시 설정 조건을 함께 봐야 합니다.
그래서 나한테는?
GPT-5.6 API로 긴 작업을 돌린다면 두 설정을 켜고 결과를 비교해 볼 만합니다.
SOURCE공식 원문 확인
- 원문 · 공식How enabling two settings tripled our scores on the ARC-AGI-3 benchmarkOpenAI · openai.com · 발표 2026.07.29
수집 2026.09.30 · 정리 2026.10.01 · 원문 본문은 옮기지 않았습니다.