← 장부로 돌아가기

METR 타임호라이즌 통계 감사 — 50% 호라이즌은 실측이 아닌 피팅 곡선

날짜	2026-10-11
분류	벤치마크
판정	중립
게이지 가중치	1 / 3
출처	Nguyen and Fithian (Berkeley) statistical audit of the METR time-horizon plot, October 2026, recorded in AGI watch, 2026-10-11

요약

버클리 통계학자 Nguyen과 Fithian의 감사는 METR의 50% 호라이즌이 실측이 아니라 피팅된 로지스틱 곡선의 산출물이라고 지적했다. 지수 추세 자체를 부정하는 감사는 아니며, 자(ruler)의 눈금 문제로 기록됐다.

A/B 영향 분석

이 항목은 추세의 방향이 아니라 측정 도구의 신뢰도에 관한 것이라 A와 B 어느 쪽의 증거로도 직접 쓰기 어렵다. 다만 양쪽 모두 판정 기준으로 삼는 METR 지표의 해석이 흔들리면 2027년 12월 크럭스 판정 방식 자체를 실측 생존 시간으로 바꿔야 한다는 후속 합의로 이어졌다. 중립으로 기록하되, 방법론 항목이 판정 규칙을 바꾼 사례로 남긴다. 추세 반전 신호로는 읽지 않는다. 이후 크럭스 A를 실측 생존 시간으로 재정의하기로 한 합의는 이 감사가 남긴 실질적인 유산이며, 방법론 항목이 판정 규칙 자체를 바꾼 드문 사례라는 점에서 기록 가치가 있다. 자가 흔들리면 판정 전체가 흔들린다는 교훈도 함께 남는다.