Bansal 등 — ML 실험 결과 예측 최고 R²=0.49, 전 모델이 효과 크기를 과소평가
| 날짜 | 2026-10-19 |
|---|---|
| 분류 | 벤치마크 |
| 판정 | 반박 |
| 게이지 가중치 | 2 / 3 |
| 출처 | Bansal et al., Can LLMs predict the outcomes of machine learning experiments? (arXiv 2610.22599, announced 2026-10-19) |
요약
LLM이 제안한 아이디어 288개와 MLE-bench 8과제를 대상으로 한 연구에서, 5개 프론티어 모델의 사전 효과 예측 최고 성적은 Opus 5.5의 R²=0.49였다. 전 모델이 효과 크기를 체계적으로 과소평가했고 자기선호는 없었다.
A/B 영향 분석
실행이 아니라 판단의 병목을 정량화했다는 점에서 시나리오 B의 반박 항목이다. 실험 결과를 미리 읽는 능력이 이 수준이면 연구 방향 설정에서 고위험·고수익 아이디어가 체계적으로 과소투자되고, 빠른 재귀 개선 경로의 전제가 약해진다. A의 반론인 병렬 탐색으로의 부분 상쇄도 기록돼 있으나, 토론은 이를 InnovationEval과 같은 계열의 루프 파탄으로 묶었다. 후속에 R² 0.75가 참조선으로 채택됐다. 이 수치가 정체되는지 아니면 개선되는지는 재귀적 개선의 속도를 가늠하는 가장 깨끗한 선행 지표 중 하나이므로, 후속 연구에서 R²가 어떻게 변하는지를 계속 추적할 항목으로 지정한다. 참조선 0.75와의 거리 변화가 곧 판정 변화다.