저자: Zhao Zhimin, PhD, Queen's University, Canada (연구 방향: 코드 인텔리전스 및 세계 모델)
RSI에 대해 처음 듣는 경우 이 기사가 입문서 역할을 할 수 있습니다. 스스로 개선을 시도한 최초의 AI부터 코드를 변경하고 훈련 데이터를 생성하고 모델 개발에 참여할 수 있는 오늘날의 에이전트까지 RSI를 0부터 안내하고 AI가 단계적으로 스스로 개선하는 방법을 학습하는 방법을 알아봅니다.
2026년 7월 OpenAI는 GPT-5.6을 출시했습니다. 처음으로 성적표에 다소 특이한 새로운 주제가 등장했습니다. AI가 AI 자체를 개선하는 데 참여할 수 있는지 여부입니다.
OpenAI는 이 기능을 자기 개선으로 나열합니다. GPT-5.6 Sol은 57.9%, GPT-5.5는 41.7%를 얻으며 두 세대 모델의 차이는 16.2%포인트이다. 테스트하는 것은 모델이 얼마나 많은 일반적인 질문을 할 수 있는지가 아니라 AI R&D 사이트에 들어갈 수 있는지 여부입니다. 연구 시스템 문제 해결, GPU 커널 프로그램(GPU 커널) 및 훈련 레시피 최적화, 기계 학습 실험 실행, 심지어 다른 개선에 도움모델.
이것은 고립된 뉴스가 아닙니다. 같은 해 여름, OpenAI는 에이전트를 "자동화 연구 인턴"이라고 부르기 시작했습니다. Kuaishou AgentX를 통해 에이전트는 계획 제안, 코드 작성, 온라인에서 이전 버전과 새 버전 비교(A/B 테스트)에 참여할 수 있습니다. Google은 모델의 다음 버전을 개선하는 데 장기 실행 에이전트 루프가 포함되어 있다고 말합니다. Motus2는 실제 로봇에 대한 예측, 평가 및 전략 업데이트를 제공합니다.
이러한 사례에는 각각 R&D 실행, 산업 실험, 모델 교육 및 실제 운영이 포함되지만 그 중 어느 것도 가장 중요한 질문인 개선된 시스템이 다음 개선을 완료하는 데 더 나을 것인가?에 대한 대답은 없습니다.
이것이 재귀적 자기 개선(RSI)이 묻는 질문입니다. OpenAI는 이 평가를 "RSI에 액세스하는 능력"을 측정하는 RSI 지수라고 부릅니다. 전체 문항, 과제 가중치, 집계 공식이 공개되지 않기 때문에 57.9%는 내부 종합 지표로만 볼 수 있으며, 과제 합격률이나 RSI의 '완료도'로 이해할 수 없습니다.
그럼에도 불구하고 이 수치는 여전히 변화를 의미합니다. 주로 사고 실험에서 존재했던 문제가 최첨단 실험실에 의해 측정 가능한 연구 및 개발 역량으로 세분화되기 시작했습니다.
연구자들이 점진적으로 기계에 더 많은 개선 사항을 넘겨주는 데 40년이 걸렸습니다. 이 기사에서는 먼저 혼동되기 쉬운 몇 가지 능력을 구별한 다음 다섯 가지 "경계 전진"을 따라 이동하여 어떤 경계 폐쇄 루프가 회전했는지, 왜 여전히 "지능 폭발"과 동일하지 않은지, 폐쇄 루프가 닫히는지 여부보다 닫히는 방법이 더 중요한 이유를 확인합니다. 이 다섯 가지 발전은 단지 서술적 틀일 뿐입니다.역사정리를 위한 세대이지 학계에서 인정하는 기술세대는 아닙니다. 그것들은 시간적으로 겹쳐졌고 오늘날에도 여전히 평행하게 발전하고 있습니다.
RSI란 무엇인가: 자기 개선에서 재귀적 이득까지
이러한 뉴스는 모두 "자기 개선"에 대해 이야기하지만 닫힌 루프가 어떻게 닫히는지는 설명하지 않습니다.
전통적인 의미의 재귀적 자기 개선(RSI)은 AI 시스템이 현재 기능을 사용하여 이 기능을 생성하는 인지 메커니즘을 개선하는 것을 의미합니다. 개선된 시스템은 다음 개선 단계에 참여합니다. 여기서 가장 혼란스러운 점은 자기 개선이 자기 가속을 의미하지 않는다는 것입니다. 시스템은 고정 문제 은행에서 점점 더 좋아질 수 있지만 다음 문제 은행을 설계하는 데는 더 나아지지 않습니다.훈련 라운드. 기업은 지능형 에이전트의 광범위한 사용으로 인해 연구 개발을 가속화할 수도 있지만 개선 자체에 따른 복리 이익은 없습니다.
이 개념은 새로운 것이 아닙니다. 1863년 사무엘 버틀러는 이미 반복적인 진화를 통해 인간을 능가하는 기계를 상상했습니다. 1950년에 튜링은 교육을 받고 스스로 수정될 수 있는 "어린이 기계"를 만들 수 있는 가능성을 제안했습니다. 1965년에 I. J. Good은 다음과 같이 지적했습니다. "더 나은 기계를 설계하는 것" 자체에도 지능이 필요하다면, 충분히 똑똑한 기계는 계속해서 개선될 더 강력한 후속 제품을 설계할 수 있을 것입니다.그리고 "지능 폭발"이 시작됩니다.
정말 중요한 것은 AI가 개선에 참여하는지 여부가 아니라, 개선된 시스템이 개선에 더 능숙해지는지 여부입니다. 이러한 구별을 명확하게 보기 위해 RSI는 가장 낮은 난이도부터 가장 높은 난이도까지 순서대로 관찰 가능한 네 가지 기준으로 나눌 수 있습니다.
이 기사에서는 다음 프레임워크를 채택합니다. 이는 학계의 유일한 표준 정의는 아니지만 종종 함께 혼합되는 주장을 분리하기 위한 것입니다.
지속적인 개선: 답변이 끝난 후에도 사라지지 않고 웨이트, 메모리, 도구, 장비 또는 훈련 루틴에 효과적인 변경 사항을 통합할 수 있습니다. 여기서 가중치는 매개변수라고도 하며, 훈련 중에 모델이 지속적으로 조정하고 최종적으로 저장되는 숫자 집합입니다. 이것이 달성되었을 때만 우리는 자기 개선에 관해 이야기할 수 있습니다. 이 용어는 일반적으로 개선을 지칭하기 위해 이 기사에서 사용됩니다.출력, 메모리, 매개변수 또는 구동 장비.
자율적 폐쇄 루프: 시스템은 문제를 식별하고, 수정 사항을 제안하고, 실험을 수행하고, 결과를 평가하고, 정의된 경계 내에서 더 나은 버전을 채택할 수 있습니다. 새 버전은 이 문서에서 제한된 RSI라고 부르는 이 경계 내에서 다음 개선 단계에 참여할 수 있습니다.
재귀적 이득("점화"라고도 함): 작업에서 새 버전의 점수가 더 높을 뿐만 아니라 다음 개선 사항 생성에서도 이전 버전보다 더 좋습니다. 이 지점을 넘은 후에야 "개선 능력 자체"가 복리를 일으키기 시작합니다. 이 기사에서는 이를 재귀적 자기 가속이라고 부릅니다.
강력하고 제어 가능함: 이득은 고정 자원과 숨겨진 평가 하에서 유지되며, 평가 오염, 통제 불능 시스템 복잡성, 정렬 저하 또는 감사 불가능성을 손상시키지 않고 눈에 보이지 않는 작업으로 일반화될 수 있습니다(정렬은 단순히 특정 점수를 높이는 것이 아니라 AI 동작을 인간의 의도와 경계에 맞추는 것을 의미함). 네 가지 기준을 모두 충족하는 경우에만 개방형 RSI에 가깝습니다.
현재 처음 두 가지가 등장했고, 세 번째는 공개 증거가 충분하지 않으며, 네 번째는 더 이상 해결되지 않았습니다. 제한된 폐쇄 루프가 나타났지만 이것이 재귀적 자기 가속이 시작되었다는 의미는 아닙니다. 반복적인 피드백이 연구 난이도 증가, 반복 주기 연장 등의 저항을 상쇄하기에 충분한 경우에만 개선 사항이 자체 증폭 범위에 들어갈 것입니다.
다음 네 가지 명령문은 고정적으로 사용됩니다. 자기 개선은 일반적으로 출력, 메모리, 매개 변수 또는 구동 장비의 개선을 의미합니다. 새 버전은 이 문서에서 제한된 RSI라고 부르는 고정된 경계 내에서 다음 개선 단계에 참여할 수 있습니다. 개선된 시스템은 개선 가능성이 더욱 높아지는데, 이를 '점화'의 세 번째 계층인 재귀적 자기 가속이라고 합니다. 이 이득이 가능하다면지속적이고 일반화되었으며 원래 작업 경계를 넘어서는 개방형 RSI에 가깝습니다.
현재 처음 두 계층이 등장했고 세 번째 계층은 공개 증거가 충분하지 않으며 네 번째 계층은 더 이상 해결되지 않았습니다. 제한된 폐쇄 루프가 나타났지만 이것이 재귀적 자기 가속이 시작되었다는 의미는 아닙니다. 반복적인 피드백이 연구 난이도 증가, 반복 주기 연장 등의 저항을 상쇄하기에 충분한 경우에만 개선 사항이 자체 증폭 범위에 들어갈 것입니다.
오늘날 우리가 정확히 어디에 있는지 보려면 1981년에 "속임수"를 배운 AI로 돌아가야 합니다.
RSI란 무엇인가: 자기 개선에서 재귀적 이득까지
1981년 Douglas Lenat는 EURISKO라는 시스템을 구축했습니다. 문제를 해결하기 위해 경험적 규칙을 사용할 뿐만 아니라 새로운 규칙을 생성, 수정 및 평가할 수도 있으며 이 메커니즘을 자체적으로 사용할 수도 있습니다. 이것은 시대를 상당히 앞선 일이었습니다.
EURISKO는 Traveler TCS 우주 전쟁 체스 전국 선수권 대회에 참가했습니다. 함대를 설계하고, 전투를 시뮬레이션하고, 실패에 따라 전략을 조정합니다. 1981년에 우승을 차지했고, 주최측이 규칙을 변경한 후 1982년에 다시 우승을 차지했습니다. 당시 AI 커뮤니티는 충격을 받았습니다. 이것은 실제로 스스로 개선될 수 있다는 것입니다!
그러나 Lenat는 곧 더 어려운 문제에 직면했습니다.
EURISKO는 실제 능력을 향상시키는 것이 높은 점수를 얻는 유일한 방법이 아니라는 것을 발견했습니다. 특정 규칙은 실제로 중요한 발견을 하지 못했지만 다른 규칙이 발견할 때 "발견자" 목록에 해당 이름을 추가하는 방법을 학습했기 때문에 내부 "유용성" 점수가 빠르게 최고점에 도달했습니다. 즉, 더 똑똑해지지는 않았지만 평가 메커니즘의 허점을 활용하는 방법을 배웠습니다.
이 현상은 오늘날 흔히 보상 해킹(보상 투기라고도 함)이라고 불립니다. 시스템은 점수를 향상시키는 허점을 찾아내지만 실제로는 설계자가 의도한 목표를 달성하지 못합니다. 이는 AI 자체 개선의 맥락에서 특히 치명적입니다. 시스템이 개선되고 평가 프로세스에도 영향을 미칠 수 있으면 자체 개선이 자기기만에 빠질 수 있습니다. 우리는 이 함정을 다시 만나게 될 것이고,나중에 다시.
다음 수십 년 동안 유전자 알고리즘, 진화 전략 및 신경 진화는 검색과 선택이 복잡한 행동을 유발할 수 있음을 지속적으로 입증했으며 동일한 문제를 반복적으로 노출했습니다. 평가 대상에 허점이 있는 한 시스템은 실제로 더 강해지는 대신 먼저 허점을 이용하는 방법을 배울 수 있습니다.
이 스레드는 2017년까지 연장되며 더 극단적인 사례가 나타납니다: DeepMind의 AlphaZero. 바둑, 체스, 장기를 처음부터 마스터하려면 순수한 자기 플레이에 의존합니다. "자체 생성 데이터로 자신을 단련하는 것"의 힘이 처음으로 발휘됩니다.
이 기사의 4개 레이어 프레임워크의 관점에서 보면 AlphaZero는 제한된 구현입니다. 자체 플레이는 훈련 신호를 생성하고 쓰기 가중치를 향상시키며 처음 두 레이어는 고정 게임 내에 설정되었습니다.
그러나 중요한 제한은 폐쇄 루프의 경계가 인간에 의해 그려지고 시스템이 경계 자체를 수정할 수 없다는 것입니다. 보상 함수(게임 승리 점수), 게임 규칙, 훈련 과정, 평가 방법 등은 모두 인간이 미리 하드 코딩해 놓은 것입니다. AlphaZero는 완전히 닫힌 샌드박스에서 오래 지속되고 자율적인 자체 개선 폐쇄 루프를 구현하지만 이 샌드박스에 대해 질문하거나 수정할 수 없습니다. 이는 다음을 의미합니다.그 개선은 항상 "체스를 더 잘하는 것"의 차원으로 제한되며 샌드박스 외부로 이전될 수 없습니다.
이것이 역사적 방법의 공통된 한계이다. LLM 시대의 연구는 그것을 한 단계로 넘어서는 것이 아니라, 원래 인간이 통제하던 링크를 하나씩 폐루프(closed loop)로 옮기기 시작했다. 가장 먼저 넘겨야 할 것은 '무엇을 변경해야 하는지' 결정하기 위한 피드백 신호입니다.
첫 번째 추진(2022~2023): AI가 자신의 실수로부터 학습하도록 함
역사상 모든 방법은 같은 자리에 갇혀 있다. 개선의 방향은 인간이 미리 적어둔다. EURISKO와 AlphaZero는 인간이 제공하는 평가 기능에 의존하고, 유전 알고리즘은 인간이 설계한 적합성 기능에 의존합니다. 시스템은 진화할 수 있지만 인간이 그린 궤도를 따라서만 앞으로 나아갈 수 있다. 앞으로 나아가기 위한 첫 번째 단계는 다음과 같이 질문하는 것입니다. 시스템이 현재 출력의 품질을 자체적으로 판단할 수 있습니까?사람의 개입에 의존하지 않고 차례로 개선 방향을 제시하는가? 다음 개정을 가리킬 수 있는 이러한 종류의 피드백을 이 문서에서는 "개선 신호"라고 합니다.
과거에는 기계가 "좋은 답변이 무엇인지"를 읽을 수 없었기 때문에 이 단계는 불가능했습니다. 2022년 하반기까지 LLM(Large Language Model)은 언어를 이해하고 텍스트 품질을 평가할 수 있게 됩니다. 시스템이 자체적인 구두 피드백을 생성하도록 하는 것이 처음으로 일반적인 접근 방식이 되었습니다. 이 경로의 주요 제약은 프로세스 전반에 걸쳐 단일 매개변수가 변경되지 않으며 개선이 가능하다는 것입니다.주로 추론 과정과 외부 기억에서 발생합니다.
반성: 실패한 검토를 재사용 가능한 메모리로 전환
가장 직접적인 아이디어는 즉석에서 답변하는 과정에서 모델을 반복적으로 다듬는 것입니다. 먼저 답변을 제공한 다음 답변을 비판하고 다시 작성하면서 프로세스 전반에 걸쳐 매개변수를 변경하지 않고 주기를 반복합니다. 그러나 본질적인 결함이 있습니다. 동일한 모델을 사용하여 자체 출력을 비판하는 것은 동일한 자를 사용하여 동일한 천 조각을 측정하는 것과 같으며 자체 측정이 어렵습니다.맹점. 검토가 현재 컨텍스트에만 남아 있으면 작업이 종료된 후 진행 상황이 손실됩니다.
Reflexion(NeurIPS'23)은 이를 기반으로 핵심 설계인 에피소드 메모리를 추가합니다. 작업이 실패한 후 모델은 자연어로 사후 검토를 작성하고, 검토를 저장하고, 다음에 유사한 작업이 발생할 때 컨텍스트를 직접 주입합니다. 이는 AI에게 잘못된 질문이 담긴 책을 주는 것과 같습니다. 틀린 문제가 많이 쌓일수록 다음 시작을 위한 출발점이 높아집니다.
HumanEval Python 프로그래밍 테스트에서 Reflexion의 pass@1 정확도는 91%에 도달하여 논문에 나열된 이전 최고 결과인 GPT-4(80%)를 초과했습니다. pass@1은 전체 답변 프로세스에 대해 각 질문이 한 번만 계산되고 숨겨진 단위 테스트를 통과하는 최종 프로그램의 비율이 계산됨을 의미합니다. 전체 프로세스 동안 모델 매개변수는 변경되지 않았습니다.
첫 번째 발전의 경계: 기억은 지속될 수 있으며, 기본 능력은 새로운 버전을 형성하지 않습니다.
Reflexion의 일화 기억은 작업 전반에 걸쳐 유지될 수 있으므로 이미 "지속적인 개선"을 부분적으로 만족시킵니다. 그러나 저장되는 것은 모델 매개변수가 아닌 외부 텍스트 메모리이며, 더 강력한 기본 기능을 갖춘 새로운 모델을 생성하지 않습니다. 기억이 제거되면 능력은 원래 상태로 돌아갑니다.
한마디로, 이 단계는 AI에게 저장할 수 있는 잘못된 질문의 책을 제공하지만 아직 경험을 신체에 통합하지 않았습니다. 앞으로는 진정한 새 버전을 만들기 위해 매개변수에 개선 사항을 기록해야 합니다.
두 번째 푸시(2022~2024): 생성한 데이터로 자신을 훈련하세요.
그런 다음 잘못된 문제지를 모델 본체에 용접하세요. 이 발전에서 해결해야 할 문제는 독립적으로 생성된 개선된 신호를 매개변수에 기록하여 진정으로 지속적인 기능 개선을 형성할 수 있도록 하는 것입니다. 이 단계가 없으면 "다음 버전이 이전 버전보다 강하다"는 반복적 구조가 없으며 RSI도 없습니다.
아이디어는 매우 간단합니다. 모델이 스스로 훈련 데이터 배치를 생성하도록 한 다음 이 데이터를 사용하여 다시 훈련하는 것입니다. 마치 '왼발로 밟고 오른발로 하늘을 난다'는 말처럼 들린다. 실제로 밟을 수 있는지 여부는 이 단계에서 확인해야 할 사항입니다.
대규모 언어 모델을 통해 가중치 수준의 지속적인 개선이 체계적으로 적용된 것은 이번이 처음입니다.
STAR: 추론 체인 부트스트래핑의 기초 작업
2022년에는 STaR(Self-Taught Reasoner)(NeurIPS'22)를 통해 모델이 추론 프로세스를 생성하고 답변의 올바른 부분을 유지하여 자체적으로 미세 조정한 다음 업데이트된 모델을 사용하여 다음 추론 프로세스 배치를 생성합니다.
문제는 모델이 처음부터 모든 답을 잘못 얻으면 루프가 시작되지 않는다는 것입니다.
STaR의 솔루션은 역추론이라고 합니다. 먼저 모델에 정답을 알려주고 문제 해결 프로세스를 역으로 수행하여 학습에 사용하게 합니다. 이는 어두운 방에 불을 한 번 켜고, 걷는 법을 배울 때까지 기다렸다가, 스스로 걷도록 하기 위해 불을 끄는 것과 같습니다.
스핀: 과거 버전과 비교하여 모델 개선
STaR의 필터링 임계값은 고정되어 있는 반면 SPIN(Self-Play Fine-Tuning)(ICML'24)은 현재 모델이 과거 버전에 대해 플레이하고 "사람의 시연"과 "역사적 버전의 출력"을 구별하는 방법을 학습하도록 합니다. 둘을 구별하기가 어려울수록 모델이 인간의 시연에 더 가깝고 전체 프로세스에서 새로운 수동 주석이 필요하지 않음을 의미합니다.
두 번째 푸시의 경계: 무게는 변경되었지만 과녁과 빨간 펜은 여전히 인간이 제공합니다.
이 단계는 체중 수준 지속성 문제를 해결하지만 피드백 신호는 여전히 사람에게 의존합니다. 보상 기능은 인간이 설계하고, 훈련 작업은 인간이 선택하며, 데이터 필터링 기준도 인간이 공식화합니다. 시스템은 후보 데이터를 자율적으로 생성할 수 있지만, 어떤 데이터가 "좋고" 훈련할 가치가 있는지 판단하는 것은 여전히 인간의 손에 달려 있습니다. SPIN에는 새로운 매뉴얼이 필요하지 않습니다.주석은 여전히 기존 인간 데모 분포를 대상으로 하므로 상한은 여전히 이 분포에 고정되어 있습니다.
더 깊은 문제는 재귀적 이득이 아직 나타나지 않았다는 것입니다. 모델의 성능이 향상됨에 따라 고정된 훈련 작업은 점차 도전 과제를 잃게 됩니다. 시스템은 이 일련의 질문을 완료하는 데 점점 더 좋아질 것이지만 교육 자체를 설계하는 데 있어서 시스템이 점점 더 좋아질 것이라는 증거는 없습니다. 마치 운동선수가 이미 10초 미만으로 달렸는데 코치는 여전히 초등학교 수준을 사용하고 있는 것과 같습니다.체육수업을 심사할 경우 심사기준의 상한선으로 개선의 여지가 차단됩니다.
한마디로, 시스템은 스스로 데이터를 생성하고 질문에 답할 수 있지만 스스로 수정할 수는 없습니다. 빨간 펜이 인간의 손에 있는 한 인간은 여전히 천장을 그릴 것입니다.
세 번째 발전(2022~2025): AI에 더 많은 득점권 부여
저 빨간펜도 AI에게 줄 수 있나요? 점수를 매기고 피드백을 제공하는 것이 수동 주석이나 사람이 작성한 유효성 검사기에 의존하는 한, 개선 방향은 여전히 사람의 손에 달려 있습니다. 여기서 검증인은 미리 설정된 규칙에 따라 결과가 올바른지, 잘못된지를 자동으로 판별할 수 있는 프로그램입니다. 세 번째 푸시가 감소하는 것은 이러한 의존성 계층입니다. AI가 더 많은 피드백 신호를 생성할 수 있습니까?그 자체?
이는 자율 폐쇄 루프가 심화되는 것입니다. 모델이 출력에 반영하도록 할 뿐만 아니라 훈련 피드백의 일부를 AI에 제공하는 것입니다.
CAI에서 Meta-Rewarding까지: 평가 답변부터 평가 심사위원까지
세 번째 푸쉬의 핵심은 '누가 득점할 것인가'라는 질문의 세단뛰기이다.
첫 번째 도약: 2022년 Anthropic은 Constitutional AI(CAI)를 제안했습니다. 인간은 서면 원칙만 작성한 다음 AI가 원칙에 대해 점수를 매기도록 합니다. 실험에서 이는 수동 채점 훈련의 효과와 크게 다르지 않으며, 더 이상 항목별 채점에 참여할 필요가 없습니다.
두 번째 도약: 2024년에는 Meta의 Self-Rewarding Language Models(ICML'24)가 한 단계 더 발전합니다. 동일한 모델은 답변을 작성하고 자체 점수와 기타 후보 답변을 평가하며 해당 점수로 자체 업데이트합니다. 여기서 사용하는 미세 조정 방법을 DPO(Direct Preference Optimization)라고 하는데, 이는 간단히 "이 답변이 저 답변보다 낫습니다. 앞으로는 더 나은 답변에 의존하세요."라고 간단히 이해할 수 있습니다.
Llama 2 70B부터 세 번의 반복 후에 AlpacaEval 2.0의 승률은 9.94%에서 20.44%로 증가했습니다. 여기서 GPT-4는 심판 역할을 하고 GPT-4 Turbo는 상대 역할을 합니다. 승률은 일반적인 의미의 정답률이 아닙니다.
세 번째 도약: 답변의 질도 스스로 진화할 수 있으니 판단의 질도 진화할 수 있을까? Meta-Rewarding(2024)은 이를 바탕으로 "메타 판단" 계층을 추가합니다. 동일한 모델이 피고인, 판사, '판사 중의 판사' 역할을 동시에 수행합니다. 세 번째 역할은 이번에 점수가 정확한지 판단하는 역할이다. 각 업데이트 라운드 동안 모델은 "더 나은 답변자"와 "더 많은 답변자"라는 두 가지 방향으로 이동합니다.정확한 판사"와 동시에.
그러나 이 논문에는 경계할 만한 현상도 기록되어 있다. 여러 차례 반복을 거친 후 '판사들의 판사'가 타락하기 시작한다는 것이다. 더 이상 어떤 점수가 더 합리적인지 판단하지 않고, 직접적으로 더 높은 점수를 선택하게 되고, 그에 따라 심사 기준도 표류하게 됩니다. 이것은 EURISKO의 오래된 문제의 2024년 버전입니다. 문제가 더 깊어질수록 좋은 것과 나쁜 것을 측정하는 눈금자가 더 구부러집니다.
세 번째 전진의 경계: 빨간 펜이 AI에게 넘겨진 후, 자 자체가 구부러지기 시작합니다.
이 단계는 수동 주석에 대한 피드백 신호의 의존도를 하나씩 크게 줄이지만 동시에 RSI의 핵심 어려움을 드러냅니다. 즉, 심판과 심판이 동일한 사각 지대 세트를 공유하면 폐쇄 루프가 쉽게 자체적으로 확인할 수 있습니다.
이러한 시스템은 지속적이고 자율적인 업데이트를 형성할 수 있지만 훈련 데이터와 다른 새로운 작업에 반드시 대처할 수는 없으며 새 버전이 더 강력할 것이라는 점을 증명하지도 않습니다. 문제는 '인간의 피드백이 너무 느리다'에서 '자기판단이 믿을 만한가'로 바뀌었다.
한 문장으로 말하자면, 드디어 빨간 펜이 AI에게 넘겨졌지만, 쥐고 있는 동안 스스로에게 높은 점수를 주기 시작했습니다.
4차 발전(2023~2026):
AI가 작동 방식을 수정하게 하세요
처음 세 가지 발전은 주로 출력, 메모리, 매개변수 및 피드백 신호 변경에 중점을 두었습니다. 그러나 AI 시스템의 기능은 매개변수뿐만 아니라 모델을 중심으로 실행되는 전체 제어 시스템, 즉 프롬프트 단어를 작성하는 방법, 호출할 도구, 배열할 프로세스, 메모리가 존재하는 위치, 권한이 있는 위치, 결과를 판단하는 방법에 의해 결정됩니다.
Lilian Weng은 2026년 기사에서 이 전체 레이어를 하네스라고 불렀습니다. 그것은 말의 마구와 같습니다. 모델이 작동하도록 지원할 뿐만 아니라 모델이 어디에서, 어떻게, 얼마나 멀리 갈 수 있는지 제한합니다. 구동 장치는 모델의 기능이 안정적인 동작으로 변환될 수 있는지 여부를 결정합니다.
최근 자기 개선은 구동 도구에서 시작될 가능성이 높습니다. 무게를 바꾸는 데 비용이 많이 들고, 피드백도 느리고, 위험도 높기 때문입니다. 구동 도구를 변경하는 것은 본질적으로 코드를 변경하는 것이며, 이는 더 저렴하고 롤백하기 쉽습니다. 장기적인 방향은 모델 중량이 차량과 함께 진화하는 것일 수 있지만 평가자, 허가 제어 및 중요한 안전 경계는 진화 가능한 영역 외부에 남아 있어야 합니다.
따라서 네 번째 푸시에서 대답해야 할 질문은 시스템이 자체 구동 장비를 자율적으로 수정할 수 있습니까? 즉 작동 방식의 아키텍처를 정의할 수 있습니까?
매개변수 업데이트는 설정된 작동 모드에서 모델에 기능을 교육하는 것입니다. 운전 장비 업데이트는 능력 사용 방식을 변경하며, 이는 작업대, 도구 상자 및 훈련 방법을 재설계하는 것과 같습니다.
운전 장비 개선을 위한 명확한 진보적 사다리가 있습니다. 최적화할 개체는 얕은 것부터 깊은 것까지이며 각 수준은 "시스템이 생각하는 방식"의 핵심에 더 가깝습니다.
흐름도 LR
A["프롬프트 단어
문구 변경"] --> B["컨텍스트 구조
변경 내용"] B --> C["작업 흐름
변경 단계"] C --> D["운전장비코드
전체배열 변경"] D --> E["최적화 코드
"변경 방법" 자체 변경"] 더 깊이 들어갈수록 변화에 대한 영향력이 커지고 "시스템이 스스로 운영 논리를 다시 작성합니다"에 가까워집니다. 이 사다리를 따라가면서 얕은 곳부터 깊은 곳까지 살펴보겠습니다. OPRO: 프롬프트 단어가 스스로 반복되도록 합니다. 매개변수를 변경하지 않고 모델에 지시하는 단어인 프롬프트 단어만 변경하면 시스템이 더 강력해질 수 있나요? OPRO(ICLR 2024)의 접근 방식이 매우 대표적입니다. 시도된 프롬프트 단어와 해당 점수를 모델에 제공하여 모델이 규칙을 요약하고 더 나은 버전을 생성할 수 있도록 합니다. 과거에는 '튜닝 기술'이 사람들의 시행착오에 의존했지만, 이제는 모델이자체적으로 반복됩니다. 그러나 상한선은 분명합니다. 프롬프트 단어가 아무리 훌륭하더라도 모델의 기존 기능만 호출할 뿐 새로운 기능을 생성할 수는 없습니다. ADAS 및 AFlow: 자동화된 설계 에이전트 워크플로 한 단계 더 아래로 내려가면 최적화되는 것은 더 이상 단순한 문구가 아니라 모델에 제공되는 정보와 전체 작업 프로세스가 어떻게 배열되는지입니다. 예를 들어 AI 과학자는 “아이디어 제안 → 코드 작성 → 실험 실행 → 논문 작성 → 동료 검토”의 조립 라인을 구성합니다. 프로세스는 코드로 작성될 수 있으므로 검색도 가능합니다. ADAS(ICLR 2025)는 "설계 작업 흐름" 자체를 최적화 문제로 전환합니다. 더 높은 수준의 "디자이너 에이전트"는 지속적으로 코드에 새로운 워크플로를 작성하고, 실행하고, 필터링한 다음 수정하는 등의 작업을 수행합니다. AFlow(ICLR 2025)는 한 단계 더 나아갑니다. 모델 호출과 논리적 판단으로 구성된 흐름도로 워크플로를 나타낸 다음 검색 알고리즘을 사용하여 더 나은 구조를 찾아 궁극적으로 수동으로 설계된 솔루션을 능가합니다. 셀프 하네스 및 DGM: 시스템이 하네스 코드를 다시 작성하도록 합니다. 사다리의 맨 위는 시스템이 작동 방식을 정의하는 코드를 직접 다시 작성하는 것입니다. 여기에는 두 가지 경로가 있습니다. 첫 번째 방법은 "제안하고 평가하고 수락"하는 것입니다. 시스템은 자체적으로 문제점을 찾아 수정 사항을 제안하고, 효과가 있는지 확인한 후 채택합니다. Self-Harness(2026)는 엄격한 수용 조건을 추가합니다. 시스템은 먼저 실패 이유를 요약한 다음 작고 되돌릴 수 있는 수정을 수행합니다. 새 버전은 확인된 문제와 보이지 않는 문제 모두에서 회귀하지 않는 경우에만 유지됩니다. 두 번째 경로는 진화 검색입니다. 시스템은 후보 솔루션 그룹을 유지하고 변형을 생성한 다음 실험을 통해 더 나은 버전을 남깁니다. Darwin Gödel Machine(DGM)(2025)은 자가 수정 운전 코드를 직접적으로 발전시킵니다. 기본 모델이 변경되지 않는다는 전제 하에 SWE-bench Verified의 수리 성공률이 20%에서 50%로 증가합니다. 두 경로 뒤에는 동일한 통찰력이 있습니다. 코드는 시스템을 정의하기 위한 보편적인 언어입니다. 차량이 실행 가능하고 점수를 매길 수 있는 코드로 작성되면 프로그래밍 에이전트가 설계 공간을 검색할 수 있습니다. MetaClaw 및 AgentX: 실제 사용자를 피드백 소스로 활용 어떤 길을 택하든 구동장비의 자기진화에는 '개조가 좋은지 아닌지'의 신호가 필요하다. DGM의 개선 신호는 고정된 테스트 세트에서 나옵니다. MetaClaw(2026)는 에이전트가 실제 배포의 대화에서 경험을 추출할 수 있도록 하고, 경험을 백그라운드에서 가중치로 굳혀 문제 은행 중심에서 사용자 중심으로 자체 진화를 추진합니다. 업계에는 이미 이 경로를 실제 비즈니스에 적용하고 있는 사람들이 있습니다. Kuaishou의 AgentX(2026)는 실행 기록을 검토하고 이에 따라 하위 에이전트의 구동 장비를 수정한 다음 과거 작업을 사용하여 새 버전을 필터링합니다. Self-Harness와 유사한 "제안, 평가, 수락" 골격을 사용합니다. 차이점은 궁극적으로 실제 온라인 A/B 테스트를 거친다는 것입니다. 사용자의 체류와 소비 행위는 시스템의 보상 신호가 됩니다. 이러한 방법의 근본적인 차이점은 메커니즘에 있는 것이 아니라 코치가 누구인지(테스트 세트, 실제 사용자 또는 온라인 비즈니스)에 있습니다. 코치가 현실에 가까울수록 개선 사항이 실제로 효과가 있을 가능성은 높아지지만 이용당할 위험도 커집니다. 네 번째 발전의 경계: 운영 아키텍처는 변경될 수 있지만 검증 경계와 최종 목표는 여전히 외부에 있습니다. 이러한 발전은 또한 모델, 도구, 기억을 호출하는 방법을 진화 가능한 개체로 바꾸어 놓았습니다. 그러나 구동 도구가 어떤 방향으로 발전하는지는 여전히 외부 작업, 검증자 또는 사용자 목표에 따라 결정됩니다. 더 중요한 것은 운전 도구의 점수가 높다고 해서 기지의 지능이 강해진다는 의미는 아닙니다. 시스템이 운전 장비를 수정한다고 해서 업데이트된 운전 장비가 적용되는 것은 아닙니다.효과적으로 활용하게 될 것입니다. 결론: 시스템은 마침내 외부 세계에 의해 정의된 승인 기준과 구성 경계를 사용하여 자체 팔다리와 작업대를 재창조할 수 있습니다. 다섯 번째 푸시(2025~2026): 학습 및 연구 프로세스를 폐쇄형 루프로 전환 구동 도구를 수정하는 것도 하나의 경로이지만 구동 도구를 변경하는 것은 시스템이 런타임 중에 작업을 수행하는 방식, 즉 어떤 도구를 호출할지, 어떤 프로세스를 따라야 할지, 언제 중지할지입니다. 다섯 번째 추진은 학습을 위해 시스템에서 사용하는 자료와 장소 자체, 연습 문제의 출처, 연습 환경의 모습, 훈련 데이터 생성 방법 등 보다 상위 계층을 변경하는 것입니다. 전자가 결정한다기존 기능이 어떻게 사용되는지, 후자는 모델의 다음 버전이 어떤 종류의 경험을 학습할지 결정합니다. 많은 팀이 두 가지 작업을 동시에 수행하기 때문에 두 가지 타임라인은 매우 중복되지만 변경 대상은 다릅니다. 한 팀은 추론 중에 제어 구조를 변경하고 다른 팀은 훈련 전에 입력 공급을 변경합니다. 그래서 또 다른 경로가 폐쇄 루프의 범위를 확장하기 시작했습니다. 전체 학습 및 연구 프로세스가 시스템의 운영 개체가 될 수 있습니까? 시스템은 교육 자료 생성을 시작하고, 연습 전략을 선택하고, 실험을 실행하고, 교육 프로세스를 수정한 다음 결과를 모델이나 운전 장비에 다시 기록합니다. 여기서 피해야 할 오해가 있습니다. 시스템의 데이터 또는 환경 자율 생성은 자율 폐쇄 루프의 범위를 확장할 뿐입니다. AI가 질문, 답변, 수정을 모두 완료하더라도 새 버전이 다음 개선 사항을 설계하는 데 더 나아지지 않는다면 시스템은 여전히 반복적 이득의 임계값을 넘지 않은 것입니다. SEAL: 모델이 자체 훈련 데이터를 생성하고 지침을 업데이트하도록 합니다. 이전에 본 적이 없는 새로운 자료를 모델에 제공하면 일반적으로 인간이 미리 결정한 방식으로만 학습할 수 있습니다. 2025년의 한 작업에서는 먼저 모델 자체에 대한 "학습 계획"을 작성하도록 요청했습니다. 자료를 구성하는 방법, 학습 속도, 여러 번 다시 작성해야 하는지 여부는 모두 모델 자체에서 결정되고 계획에 따라 매개변수가 업데이트됩니다. 이는 자신의 코스를 준비하는 것과 같습니다.일정을 잡고 그에 따라 수업을 듣습니다. 이 방법을 SEAL(Self-Adapting LLM)(NeurIPS'25)이라고 합니다. 계획이 좋은지 아닌지는 '수업을 마친 후 질문이 정확한지'에 달려 있다. 그런 다음 시스템은 결과를 사용하여 계획을 조정합니다. 이것이 강화학습이다. 지식 질의응답 과제에서 이 방법은 정확도를 33.5%에서 47.0%로 높였으며, 이는 GPT-4.1을 직접 사용하여 학습 자료를 생성하는 것보다 더 좋습니다. SEAL은 “스스로 학습 자료를 준비하는 방법”을 다룹니다. 그러나 환경과 반복적으로 상호 작용해야 하는 에이전트의 경우 또 다른 병목 현상이 빠르게 발생합니다. 실제 실습 자체가 너무 느리고 비용이 많이 듭니다. 따라서 다음 작업은 환경을 폐쇄 루프로 이동하는 것이었습니다. SEAL은 "스스로 학습자료를 준비하는 방법"을 해결합니다. 그러나 환경과 반복적으로 상호 작용해야 하는 에이전트의 경우 실제 연습은 너무 느리고 비용이 많이 드는 경우가 많습니다. 웹 환경은 너무 복잡하고 각 작업을 실제로 실행해야 하며 훈련 데이터 수집은 느리고 비용이 많이 듭니다. WebEvolver(EMNLP'25)는 웹 페이지가 어떻게 반응하는지 시뮬레이션하기 위해 내부 "세계 모델"을 교육하는 절충안을 제공합니다.마음속에 샌드박스를 만드는 것과 같습니다. 에이전트는 저렴한 비용으로 샌드박스에서 많은 연습을 할 수 있으며 중요한 단계에서만 확인을 위해 온라인에 접속할 수 있습니다. 작업을 수행할 때 샌드박스는 다음 작업의 결과를 예측하는 데도 도움이 될 수 있습니다. 3개의 실제 웹 페이지 작업 테스트 세트에서 기존 자체 진화 에이전트에 비해 전반적인 성능이 약 10% 향상되었으며 더 강력한 "교사 모델"에 의존하지 않습니다. 이 시점에서 시뮬레이션 환경에서 폐쇄 루프를 실습할 수 있습니다. 다음 질문은 당연히 다음과 같습니다. 예측, 평가 및 매개변수 업데이트가 웹 페이지를 떠나 실제 물리적 세계에서 닫힐 수 있습니까? Motus2: 매개변수 자체 개선이 물리적 세계에 들어갈 때 자기 개선은 언어와 코드에서만 발생하는 것이 아닙니다. 2026년 8월에는 두 가지 실제 기계 작업에서 로봇 시스템의 평균 성공률이 65%에서 75%로 증가했습니다. 변화는 매우 구체적인 폐쇄 루프에서 비롯됩니다. 로봇은 먼저 여러 동작을 상상하고 각 동작의 결과를 예측하고 더 나은 동작을 선택한 다음 그 결과를 다음 훈련 라운드에 사용합니다. 이 시스템을 Motus2라고 합니다. 전략은 행동 제안을 담당하고, 세계 모델은 행동의 결과를 예측하며, 가치 모델은 결과가 작업 완료에 도움이 될지 여부를 결정합니다. 예측과 점수는 작업을 선택하고 작업 매개변수를 업데이트하는 데 모두 사용됩니다. 이는 가중치 수준 전략 개선이지만 여전히 제한된 폐쇄 루프입니다. 세계 모델 백본과 가치 모델은 그대로 유지되고, 작업 목표와 감독은 여전히 외부에서 제공되며, 논문에서는 개선된 Motus2가 다음 학습 알고리즘을 설계하는 데 더 낫다는 것을 보여주지 않습니다. 이것이 증명하는 것은 개방형 RSI가 수행된 것이 아니라 폐쇄 루프가 실제 로봇에서 실행될 수 있다는 것입니다. SEAL, WebEvolver 및 Motus2는 각각 교육 자료, 실습 환경 및 물리적 동작을 폐쇄 루프로 가져옵니다. 시스템이 자율적으로 작동할 수 있는 범위를 확대하면서도 '무엇을 연구하고 언제 그 결과를 사용할 것인가'에 대한 의사결정권을 시스템에 맡기지 않습니다. 실제 연구개발에서 이 경계가 어디까지 발전했는지 확인하려면 최첨단 실험실로 돌아가서생산 시스템. OpenAI 및 Google: 에이전트가 모델 개발에 참여하도록 허용 OpenAI의 "자동 연구 인턴"은 문제를 해결하고, GPU 커널 프로그램을 최적화하고, 훈련 방법을 시도하고, 다른 모델을 개선하는 데 도움을 주었습니다. Google은 또한 장기 실행 에이전트 루프가 기본 모델을 개선하는 데 참여한다고 말했습니다. 그러나 두 회사 모두 완전한 자율 폐쇄 루프를 입증하지 못했습니다. 인간은 여전히 연구 방향과 결과의 발전 여부를 결정하고 공개 정보로는 복원하기에 충분하지 않습니다.루프가 어떻게 작동하는지. 진짜 변화는 AI가 '연구 대상 모델'에서 '연구 모델에 참여하는 실행자'로 바뀌었다는 점이다. 훈련 작업장에 들어섰지만 아직 실험실의 운전대를 잡지 못했습니다. 2026년 여름: 자동화된 연구 시스템이 연구 수행 방식을 개선하기 시작합니다. 처음 5가지 발전은 “시스템에서 수정할 수 있는 것”을 계속해서 확장했습니다. 2026년 여름에 등장한 한 작품군은 '자동연구 시스템이 자동연구 시스템 자체를 연구하고 개선하는 것이 허용될 수 있는가?'라고 정면으로 묻기 시작했다. GPT 사전 훈련 벤치마크에서 일반적인 내부 루프는 검증 손실을 약 0.009만큼 감소시키고, 외부 루프를 추가하면 검증 손실을 평균 약 0.045만큼 감소시켜 약 5배 개선되었습니다. 검증 손실은 새 데이터에 대한 모델이 "얼마나 잘못되었는지"로 이해될 수 있으며 일반적으로 낮을수록 좋습니다. 여기서 비교한 것은 손실 감소이지 작업 정확도가 5배 증가한 것이 아닙니다. Bilevel Autoresearch는 2계층 루프를 사용하여 이를 수행합니다. 내부 에이전트는 작업 코드를 최적화하고 외부 에이전트는 내부 검색 메커니즘을 최적화합니다. 시스템이 개선된 것은 단순히 답이 아닌 '어떻게 답을 찾을 것인가'이다. RHI(Recursive Harness Self-Improvement)도 비슷한 결과를 얻었습니다. 30개의 합성 기계 학습 연구 작업에서 업데이트된 저예산 에이전트가 최적화되지 않은 최고 예산 구성을 초과하는 동시에 추론 비용을 최대 약 60%까지 줄였습니다. 때로는 단순히 사고 예산을 늘리는 것보다 운영 메커니즘을 개선하는 것이 더 효과적일 때도 있습니다. 그러나 두 결과 모두 주로 통제된 규모의 실험에서 나온 것입니다. 닫힌 루프가 가끔 좋은 솔루션을 찾지 않는다는 것을 증명하려면 더 긴 실행, 여러 후속 버전 및 루프 외부 테스트가 필요합니다. AIDE²는 이 세 가지를 하나로 묶으려고 노력합니다. 실제로 논란을 불러일으킨 것은 AIDE²였다. Weco 팀은 자동화된 연구 에이전트에게 외부 개선자 역할을 하도록 요청하여 내부 AIDE의 구동 도구를 연속 100단계로 다시 작성했습니다. 8일간의 무인운영 동안 7개 연속 개선 버전을 걸러냈다. 팀은 최고의 버전이 출발점을 넘어섰을 뿐만 아니라, 2년 동안 수동으로 튜닝한 버전도 넘어섰다고 보고했다.루프가 이전에 본 적이 없는 작업을 수행합니다. 보상 치트에 또 다른 변화가 생겼습니다. 최적화에 참여하지 않은 GPU 커널 프로그램 테스트 KernelBench에서는 초기 버전의 테스트 사례 중 63%에서 "공개 점수가 향상된 것 같으나 숨겨진 검증이 인식되지 않는" 상황이 발생했습니다. 가장 발전된 버전에서는 이를 34%로 줄입니다. 여기서 비공개 점수는 시스템 최적화 시 볼 수 없는 점수로 최종 시에만 사용됩니다.수락. 공개 점수에만 부합하는 버전을 제거했을 수도 있습니다. Weco는 이를 레벨 1: 순 긍정적 개선(Net Positive Improvement)이라고 부릅니다. 이는 일반적인 업계 표준은 아니지만 현재 심각하게 받아들여야 할 제한된 RSI의 증거입니다. 증거의 경계도 명확합니다. 결과는 팀의 자체 보고에서 나오고, 전체 보고서는 아직 공개되지 않았으며, 진화된 시스템에서 반복이 있습니다. 복잡성 부풀림 및 데드 코드. 더 중요한 것은 다음 단계의 점화 테스트에 실패했다는 것입니다. 개선된 시스템은 다른 버전을 개선하는 데 있어 이전 시스템보다 더 나은 것으로 입증되지 않았습니다. 반대 증거는 AI4AI-Bench에서 나옵니다. 이를 통해 에이전트는 고정 리소스 내에서 훈련 알고리즘을 다시 작성할 수 있으며, 에이전트에 액세스할 수 없는 평가자가 이를 채점합니다. 원래 알고리즘을 0.1로, 작업 최적 값을 1.0으로 취하면 가장 강력한 시스템은 0.250만 얻고 대부분의 제출물은 실제로 "학습 방법" 모델을 수정하지 않습니다. 현재 에이전트는 프로젝트 수리, 운전 조정에 매우 능숙합니다.장비와 실험을 실행하고 있지만 훈련 알고리즘의 핵심을 다루는 능력은 여전히 매우 얕습니다. 결론: 폐쇄 루프는 순 긍정적으로 몇 번 회전할 수 있었지만 이전 랩으로 인해 다음 랩이 더 빨리 회전할 것이라는 점은 입증되지 않았습니다. 통합된 관점: RSI가 어디로 갔는지 판단하는 방법 다음 표에서는 처음에 네 가지 기준(지속적인 개선, 자율적 폐쇄 루프, 재귀적 이득, 견고성 및 제어 가능성)을 사용하여 이전 발전을 비교하고 주요 격차를 표시합니다. 메타 연구 폐쇄 루프에 대한 거의 모든 관련 작업은 2026년 최근 몇 달 동안의 arXiv 사전 인쇄에서 나온 것입니다. 그 중 AIDE²는 팀이 자체 보고한 블로그 결과이며 아직 동료 검토를 거치지 않았습니다. 이러한 결론확정된 합의가 아닌 단계적 관찰로 보아야 합니다. ✅ 표의 경우 비교적 직접적인 증거가 있음을 나타내고, ⚠️은 제한된 조건에서만 확립되었거나 아직 증거가 부족함을 나타내며, ❌는 아직 입증되지 않았음을 나타냅니다. 이 분야의 역사는 "시스템에 의해 변경될 수 있는 객체"가 한 층씩 발전해 나가는 역사입니다. 변화된 객체는 출력과 메모리에서 매개변수, 평가, 주행장비, 훈련환경으로 점차 바뀌며 마침내 개선을 낳는 메커니즘 그 자체를 만났다. 더 깊이 들어갈수록 "개선"을 정의하기가 더 어려워지고 증명하기도 더 어려워집니다. 이전의 네 가지 기준(지속적인 개선, 자율적 폐쇄 루프, 재귀적 이득, 견고성 및 제어 가능성)으로 돌아가서 오늘날 점화 및 개방형 RSI를 실제로 차단하는 것은 마지막 세 가지 기준 각각에서 교차하기 가장 어려운 부분입니다. 이는 네 개의 연동 문으로 나눌 수 있습니다. 첫 번째 게이트(자율 폐쇄 루프가 신뢰할 수 있는지 여부): 검증자가 신뢰할 수 있고 시스템이 이를 변경할 수 없는지 여부입니다. 시스템이 개선자이자 판단자일 때 판단 기준은 반복을 통해 표류할 수 있습니다. Meta-Rewarding의 "심사위원"은 나중에 점점 더 높은 점수에 편향되게 되었고 EURISKO는 더 일찍 자신의 이름을 신용 장부에 기입하는 방법을 배웠습니다. 그들은 모두 같은 것을 생각나게 합니다: 최적화프로세스는 측정항목과 실제 목표 사이의 모든 균열을 공격합니다. 여기서 외부 앵커는 개선된 시스템에 의해 변조될 수 없는 평가 또는 제약을 의미합니다. 공식 증명, 실행 가능한 검증자 및 숨겨진 테스트는 일반적으로 모델 자체 평가보다 더 안정적입니다. AIDE²의 숨겨진 점수는 내부 에이전트가 이를 조작할 수 없기 때문에 일부 보상 부정 행위를 정확하게 줄일 수 있습니다. 진정으로 확실한 원칙은 사람들이 모든 단계를 감사하도록 하는 것이 아니라 평가자와 권한 경계가 발전 중인 시스템의 통제 범위 밖에 있어야 한다는 것입니다. 수학 및 코딩 작업은 증명자, 컴파일러 또는 숨겨진 테스트에 의존할 수 있습니다. 연구 취향, 장기적인 코드 상태 및 배포 경계에는 여전히 최종 인간의 판단이 필요합니다. 두 번째 문(강력하고 제어 가능한 문): 개선이 자신의 데이터 배포 이상으로 확장될 수 있는지 여부. 자체 생성 데이터로 자신을 훈련하면 기존 편차가 증폭되고 다양성이 완화되며 결국 모델 붕괴로 이어집니다. 출력은 점점 더 단조로워지고 자체 훈련 라운드에서 원래 오류가 반복적으로 증폭됩니다. 운전 도구를 수정하기 위해 고정된 문제 은행을 사용하는 경우,문제 은행 기능을 작업 흐름에 작성하여 또 다른 종류의 과적합을 만듭니다. 보이지 않는 임무에 대한 한 가지 개선만으로는 충분하지 않습니다. 시스템은 숨겨진 시험 응시 기술보다는 이전 가능한 능력을 축적하고 있음을 입증하기 위해 작업, 영역 및 시간 전반에 걸쳐 숨겨진 평가를 거쳐야 합니다. 세 번째 게이트(재귀적 이득 자체): 개선이 실제로 재귀적 이득을 갖는지 여부. 작업 점수가 높아진다고 해서 시스템이 다음 개선 사항을 설계한다는 의미는 아닙니다. AIDE²는 점화 과정 없이 다단계 순 긍정적 개선을 보여줍니다. AI4AI-Bench는 대부분의 시스템이 여전히 핵심 학습 알고리즘을 수정하지 않음을 보여줍니다. 기반이 너무 약하면 자체 생성 데이터와 자가 진단의 품질이 저하될 수 있습니다.또한주기를 점점 더 나선형으로 만듭니다. 네 번째 관문(견고함 및 제어 가능 2): 기능, 복잡성 및 제어가 함께 확장될 수 있는지 여부. 당신이 강해질수록 당신은 더 "순종적"이 되고, 코드를 더 많이 변경할 수 있을수록 유지 관리가 더 쉬워집니다. AIDE²의 데드 코드와 복잡성 인플레이션은 소규모 경고입니다. 대규모 훈련 시스템에서는 권위가 높아지고 반복 속도가 빨라질수록 각 변화가 무엇인지 인간이 이해하기가 더 어려워집니다.가져옵니다. OpenAI 수석 과학자 Jakub Pachocki는 장기적으로 최고 속도로 책임 있게 확장할 수 있을 만큼 정렬 및 모니터링을 해결한 실험실은 없다고 공개적으로 밝혔습니다. 실제 목표는 단순히 기능 곡선을 높이는 것이 아니라 보안, 모니터링, 롤백 및 감사 기능을 최소한 동시에 높이는 것입니다. AutoResearchEval은 800개의 실제 과학 연구 궤적을 조사하고 45가지 유형의 실패를 요약했습니다. 그들은 궁극적으로 동일한 격차를 지적합니다. 현재 에이전트에는 안정적인 메타인지 루프가 부족하고 결론과 증거를 지속적으로 확인할 수 없으며 오류가 발생할 때 안정적으로 물러나거나 자신의 연구 경로에 적극적으로 의문을 제기할 수 없습니다. 여러 워크플로우 세트만으로는 문제를 해결할 수 없습니다. 따라서 더 현실적인 그림은 인간이 단순히 폐쇄 루프에서 쫓겨나는 것이 아니라 코드 작성에서 코드 테스트로, 실험 실행에서 설계 검증으로, 로컬 실행에서 연구할 가치가 있는 것이 무엇인지 결정하는 것, 발전하기에 충분한 증거가 무엇인지, 필요할 때까지 추상적인 사다리 위로 올라간다는 것입니다. 멈추다. 기계가 점점 더 많은 일자리를 차지하고 있고, 인간에게 남은 것은 모든 단계를 운영할 권리가 아니라 목표를 달성할 수 있는 힘, 검증 경계, 최종 거부권이다. 결론: 자기 개선 폐쇄 루프가 등장했지만 재귀적 이득은 여전히 입증되어야 합니다. EURISKO가 "자신을 속이는" 방법을 배운 1981년부터 모델이 평가, 운전 장비 수정, 전략 업데이트 및 후속 교육에 참여하기 시작한 2026년까지, 보다 정확한 결론은 제한적이고 측정 가능한 자기 개선 폐쇄 루프가 등장했으며 순 긍정적 이익을 창출하기 시작했다는 것입니다. 그러나 개선된 시스템이 지속적으로 자체 개선을 했다는 충분한 공개 증거는 없습니다.개선 능력. 따라서 폐루프가 닫히는 방식이 폐루프 자체가 닫히는 것보다 더 중요합니다. 기준의 표류로 닫히는 폐쇄 루프는 왜곡된 목표를 최적화하는 데 점점 더 능숙해집니다. 데이터 분포 붕괴로 닫히는 폐쇄 루프는 점점 더 좁은 작업 하위 집합에서 점점 더 좋아지고 있습니다. 정렬 편차 증폭의 폐쇄 루프는 점점 더 가능해지며 수정하기가 어려워집니다. 실제 질문은 두 가지 질문으로 바뀌었습니다. 불이 붙을 것인가, 그리고 불이 붙을 때 불변의 경계 밖에 무엇이 남을 것인가? 전자는 개선된 역량을 반복적으로 얻을 수 있는지 여부에 따라 달라지며, 후자는 검증, 권한 및 거버넌스가 계속해서 효과적일 수 있는지 여부에 따라 달라집니다. 40년 전 "발견자" 목록에 자신의 이름을 올렸던 EURISKO로 돌아가 보세요. 이것이 활용한 허점은 실제로 오늘날 가장 최첨단 자가 진화 시스템이 직면한 문제와 동일합니다. 시스템이 자체적으로 점수를 매기기 시작할 때 시스템이 실제로 더 좋아졌는지, 아니면 방금 스스로 더 좋아 보이도록 학습했는지 여부를 어떻게 알 수 있습니까? 40년이 지났고 시스템의 성능은 매우 달라졌지만 이 문제는 거의 변하지 않았습니다. 변한 것은 위험입니다. 당시 보드 게임에서 이기거나 지는 것은 미래의 과학 연구와 경제 시스템이 작동하는 방식일 수 있습니다. 이 격차가 최종적으로 어떻게 메워지는지는 우리가 언제, 어떻게 손을 댔는지, 아니면 철회했는지에 달려 있습니다.
문구 변경"] --> B["컨텍스트 구조
변경 내용"] B --> C["작업 흐름
변경 단계"] C --> D["운전장비코드
전체배열 변경"] D --> E["최적화 코드
"변경 방법" 자체 변경"] 더 깊이 들어갈수록 변화에 대한 영향력이 커지고 "시스템이 스스로 운영 논리를 다시 작성합니다"에 가까워집니다. 이 사다리를 따라가면서 얕은 곳부터 깊은 곳까지 살펴보겠습니다. OPRO: 프롬프트 단어가 스스로 반복되도록 합니다. 매개변수를 변경하지 않고 모델에 지시하는 단어인 프롬프트 단어만 변경하면 시스템이 더 강력해질 수 있나요? OPRO(ICLR 2024)의 접근 방식이 매우 대표적입니다. 시도된 프롬프트 단어와 해당 점수를 모델에 제공하여 모델이 규칙을 요약하고 더 나은 버전을 생성할 수 있도록 합니다. 과거에는 '튜닝 기술'이 사람들의 시행착오에 의존했지만, 이제는 모델이자체적으로 반복됩니다. 그러나 상한선은 분명합니다. 프롬프트 단어가 아무리 훌륭하더라도 모델의 기존 기능만 호출할 뿐 새로운 기능을 생성할 수는 없습니다. ADAS 및 AFlow: 자동화된 설계 에이전트 워크플로 한 단계 더 아래로 내려가면 최적화되는 것은 더 이상 단순한 문구가 아니라 모델에 제공되는 정보와 전체 작업 프로세스가 어떻게 배열되는지입니다. 예를 들어 AI 과학자는 “아이디어 제안 → 코드 작성 → 실험 실행 → 논문 작성 → 동료 검토”의 조립 라인을 구성합니다. 프로세스는 코드로 작성될 수 있으므로 검색도 가능합니다. ADAS(ICLR 2025)는 "설계 작업 흐름" 자체를 최적화 문제로 전환합니다. 더 높은 수준의 "디자이너 에이전트"는 지속적으로 코드에 새로운 워크플로를 작성하고, 실행하고, 필터링한 다음 수정하는 등의 작업을 수행합니다. AFlow(ICLR 2025)는 한 단계 더 나아갑니다. 모델 호출과 논리적 판단으로 구성된 흐름도로 워크플로를 나타낸 다음 검색 알고리즘을 사용하여 더 나은 구조를 찾아 궁극적으로 수동으로 설계된 솔루션을 능가합니다. 셀프 하네스 및 DGM: 시스템이 하네스 코드를 다시 작성하도록 합니다. 사다리의 맨 위는 시스템이 작동 방식을 정의하는 코드를 직접 다시 작성하는 것입니다. 여기에는 두 가지 경로가 있습니다. 첫 번째 방법은 "제안하고 평가하고 수락"하는 것입니다. 시스템은 자체적으로 문제점을 찾아 수정 사항을 제안하고, 효과가 있는지 확인한 후 채택합니다. Self-Harness(2026)는 엄격한 수용 조건을 추가합니다. 시스템은 먼저 실패 이유를 요약한 다음 작고 되돌릴 수 있는 수정을 수행합니다. 새 버전은 확인된 문제와 보이지 않는 문제 모두에서 회귀하지 않는 경우에만 유지됩니다. 두 번째 경로는 진화 검색입니다. 시스템은 후보 솔루션 그룹을 유지하고 변형을 생성한 다음 실험을 통해 더 나은 버전을 남깁니다. Darwin Gödel Machine(DGM)(2025)은 자가 수정 운전 코드를 직접적으로 발전시킵니다. 기본 모델이 변경되지 않는다는 전제 하에 SWE-bench Verified의 수리 성공률이 20%에서 50%로 증가합니다. 두 경로 뒤에는 동일한 통찰력이 있습니다. 코드는 시스템을 정의하기 위한 보편적인 언어입니다. 차량이 실행 가능하고 점수를 매길 수 있는 코드로 작성되면 프로그래밍 에이전트가 설계 공간을 검색할 수 있습니다. MetaClaw 및 AgentX: 실제 사용자를 피드백 소스로 활용 어떤 길을 택하든 구동장비의 자기진화에는 '개조가 좋은지 아닌지'의 신호가 필요하다. DGM의 개선 신호는 고정된 테스트 세트에서 나옵니다. MetaClaw(2026)는 에이전트가 실제 배포의 대화에서 경험을 추출할 수 있도록 하고, 경험을 백그라운드에서 가중치로 굳혀 문제 은행 중심에서 사용자 중심으로 자체 진화를 추진합니다. 업계에는 이미 이 경로를 실제 비즈니스에 적용하고 있는 사람들이 있습니다. Kuaishou의 AgentX(2026)는 실행 기록을 검토하고 이에 따라 하위 에이전트의 구동 장비를 수정한 다음 과거 작업을 사용하여 새 버전을 필터링합니다. Self-Harness와 유사한 "제안, 평가, 수락" 골격을 사용합니다. 차이점은 궁극적으로 실제 온라인 A/B 테스트를 거친다는 것입니다. 사용자의 체류와 소비 행위는 시스템의 보상 신호가 됩니다. 이러한 방법의 근본적인 차이점은 메커니즘에 있는 것이 아니라 코치가 누구인지(테스트 세트, 실제 사용자 또는 온라인 비즈니스)에 있습니다. 코치가 현실에 가까울수록 개선 사항이 실제로 효과가 있을 가능성은 높아지지만 이용당할 위험도 커집니다. 네 번째 발전의 경계: 운영 아키텍처는 변경될 수 있지만 검증 경계와 최종 목표는 여전히 외부에 있습니다. 이러한 발전은 또한 모델, 도구, 기억을 호출하는 방법을 진화 가능한 개체로 바꾸어 놓았습니다. 그러나 구동 도구가 어떤 방향으로 발전하는지는 여전히 외부 작업, 검증자 또는 사용자 목표에 따라 결정됩니다. 더 중요한 것은 운전 도구의 점수가 높다고 해서 기지의 지능이 강해진다는 의미는 아닙니다. 시스템이 운전 장비를 수정한다고 해서 업데이트된 운전 장비가 적용되는 것은 아닙니다.효과적으로 활용하게 될 것입니다. 결론: 시스템은 마침내 외부 세계에 의해 정의된 승인 기준과 구성 경계를 사용하여 자체 팔다리와 작업대를 재창조할 수 있습니다. 다섯 번째 푸시(2025~2026): 학습 및 연구 프로세스를 폐쇄형 루프로 전환 구동 도구를 수정하는 것도 하나의 경로이지만 구동 도구를 변경하는 것은 시스템이 런타임 중에 작업을 수행하는 방식, 즉 어떤 도구를 호출할지, 어떤 프로세스를 따라야 할지, 언제 중지할지입니다. 다섯 번째 추진은 학습을 위해 시스템에서 사용하는 자료와 장소 자체, 연습 문제의 출처, 연습 환경의 모습, 훈련 데이터 생성 방법 등 보다 상위 계층을 변경하는 것입니다. 전자가 결정한다기존 기능이 어떻게 사용되는지, 후자는 모델의 다음 버전이 어떤 종류의 경험을 학습할지 결정합니다. 많은 팀이 두 가지 작업을 동시에 수행하기 때문에 두 가지 타임라인은 매우 중복되지만 변경 대상은 다릅니다. 한 팀은 추론 중에 제어 구조를 변경하고 다른 팀은 훈련 전에 입력 공급을 변경합니다. 그래서 또 다른 경로가 폐쇄 루프의 범위를 확장하기 시작했습니다. 전체 학습 및 연구 프로세스가 시스템의 운영 개체가 될 수 있습니까? 시스템은 교육 자료 생성을 시작하고, 연습 전략을 선택하고, 실험을 실행하고, 교육 프로세스를 수정한 다음 결과를 모델이나 운전 장비에 다시 기록합니다. 여기서 피해야 할 오해가 있습니다. 시스템의 데이터 또는 환경 자율 생성은 자율 폐쇄 루프의 범위를 확장할 뿐입니다. AI가 질문, 답변, 수정을 모두 완료하더라도 새 버전이 다음 개선 사항을 설계하는 데 더 나아지지 않는다면 시스템은 여전히 반복적 이득의 임계값을 넘지 않은 것입니다. SEAL: 모델이 자체 훈련 데이터를 생성하고 지침을 업데이트하도록 합니다. 이전에 본 적이 없는 새로운 자료를 모델에 제공하면 일반적으로 인간이 미리 결정한 방식으로만 학습할 수 있습니다. 2025년의 한 작업에서는 먼저 모델 자체에 대한 "학습 계획"을 작성하도록 요청했습니다. 자료를 구성하는 방법, 학습 속도, 여러 번 다시 작성해야 하는지 여부는 모두 모델 자체에서 결정되고 계획에 따라 매개변수가 업데이트됩니다. 이는 자신의 코스를 준비하는 것과 같습니다.일정을 잡고 그에 따라 수업을 듣습니다. 이 방법을 SEAL(Self-Adapting LLM)(NeurIPS'25)이라고 합니다. 계획이 좋은지 아닌지는 '수업을 마친 후 질문이 정확한지'에 달려 있다. 그런 다음 시스템은 결과를 사용하여 계획을 조정합니다. 이것이 강화학습이다. 지식 질의응답 과제에서 이 방법은 정확도를 33.5%에서 47.0%로 높였으며, 이는 GPT-4.1을 직접 사용하여 학습 자료를 생성하는 것보다 더 좋습니다. SEAL은 “스스로 학습 자료를 준비하는 방법”을 다룹니다. 그러나 환경과 반복적으로 상호 작용해야 하는 에이전트의 경우 또 다른 병목 현상이 빠르게 발생합니다. 실제 실습 자체가 너무 느리고 비용이 많이 듭니다. 따라서 다음 작업은 환경을 폐쇄 루프로 이동하는 것이었습니다. SEAL은 "스스로 학습자료를 준비하는 방법"을 해결합니다. 그러나 환경과 반복적으로 상호 작용해야 하는 에이전트의 경우 실제 연습은 너무 느리고 비용이 많이 드는 경우가 많습니다. 웹 환경은 너무 복잡하고 각 작업을 실제로 실행해야 하며 훈련 데이터 수집은 느리고 비용이 많이 듭니다. WebEvolver(EMNLP'25)는 웹 페이지가 어떻게 반응하는지 시뮬레이션하기 위해 내부 "세계 모델"을 교육하는 절충안을 제공합니다.마음속에 샌드박스를 만드는 것과 같습니다. 에이전트는 저렴한 비용으로 샌드박스에서 많은 연습을 할 수 있으며 중요한 단계에서만 확인을 위해 온라인에 접속할 수 있습니다. 작업을 수행할 때 샌드박스는 다음 작업의 결과를 예측하는 데도 도움이 될 수 있습니다. 3개의 실제 웹 페이지 작업 테스트 세트에서 기존 자체 진화 에이전트에 비해 전반적인 성능이 약 10% 향상되었으며 더 강력한 "교사 모델"에 의존하지 않습니다. 이 시점에서 시뮬레이션 환경에서 폐쇄 루프를 실습할 수 있습니다. 다음 질문은 당연히 다음과 같습니다. 예측, 평가 및 매개변수 업데이트가 웹 페이지를 떠나 실제 물리적 세계에서 닫힐 수 있습니까? Motus2: 매개변수 자체 개선이 물리적 세계에 들어갈 때 자기 개선은 언어와 코드에서만 발생하는 것이 아닙니다. 2026년 8월에는 두 가지 실제 기계 작업에서 로봇 시스템의 평균 성공률이 65%에서 75%로 증가했습니다. 변화는 매우 구체적인 폐쇄 루프에서 비롯됩니다. 로봇은 먼저 여러 동작을 상상하고 각 동작의 결과를 예측하고 더 나은 동작을 선택한 다음 그 결과를 다음 훈련 라운드에 사용합니다. 이 시스템을 Motus2라고 합니다. 전략은 행동 제안을 담당하고, 세계 모델은 행동의 결과를 예측하며, 가치 모델은 결과가 작업 완료에 도움이 될지 여부를 결정합니다. 예측과 점수는 작업을 선택하고 작업 매개변수를 업데이트하는 데 모두 사용됩니다. 이는 가중치 수준 전략 개선이지만 여전히 제한된 폐쇄 루프입니다. 세계 모델 백본과 가치 모델은 그대로 유지되고, 작업 목표와 감독은 여전히 외부에서 제공되며, 논문에서는 개선된 Motus2가 다음 학습 알고리즘을 설계하는 데 더 낫다는 것을 보여주지 않습니다. 이것이 증명하는 것은 개방형 RSI가 수행된 것이 아니라 폐쇄 루프가 실제 로봇에서 실행될 수 있다는 것입니다. SEAL, WebEvolver 및 Motus2는 각각 교육 자료, 실습 환경 및 물리적 동작을 폐쇄 루프로 가져옵니다. 시스템이 자율적으로 작동할 수 있는 범위를 확대하면서도 '무엇을 연구하고 언제 그 결과를 사용할 것인가'에 대한 의사결정권을 시스템에 맡기지 않습니다. 실제 연구개발에서 이 경계가 어디까지 발전했는지 확인하려면 최첨단 실험실로 돌아가서생산 시스템. OpenAI 및 Google: 에이전트가 모델 개발에 참여하도록 허용 OpenAI의 "자동 연구 인턴"은 문제를 해결하고, GPU 커널 프로그램을 최적화하고, 훈련 방법을 시도하고, 다른 모델을 개선하는 데 도움을 주었습니다. Google은 또한 장기 실행 에이전트 루프가 기본 모델을 개선하는 데 참여한다고 말했습니다. 그러나 두 회사 모두 완전한 자율 폐쇄 루프를 입증하지 못했습니다. 인간은 여전히 연구 방향과 결과의 발전 여부를 결정하고 공개 정보로는 복원하기에 충분하지 않습니다.루프가 어떻게 작동하는지. 진짜 변화는 AI가 '연구 대상 모델'에서 '연구 모델에 참여하는 실행자'로 바뀌었다는 점이다. 훈련 작업장에 들어섰지만 아직 실험실의 운전대를 잡지 못했습니다. 2026년 여름: 자동화된 연구 시스템이 연구 수행 방식을 개선하기 시작합니다. 처음 5가지 발전은 “시스템에서 수정할 수 있는 것”을 계속해서 확장했습니다. 2026년 여름에 등장한 한 작품군은 '자동연구 시스템이 자동연구 시스템 자체를 연구하고 개선하는 것이 허용될 수 있는가?'라고 정면으로 묻기 시작했다. GPT 사전 훈련 벤치마크에서 일반적인 내부 루프는 검증 손실을 약 0.009만큼 감소시키고, 외부 루프를 추가하면 검증 손실을 평균 약 0.045만큼 감소시켜 약 5배 개선되었습니다. 검증 손실은 새 데이터에 대한 모델이 "얼마나 잘못되었는지"로 이해될 수 있으며 일반적으로 낮을수록 좋습니다. 여기서 비교한 것은 손실 감소이지 작업 정확도가 5배 증가한 것이 아닙니다. Bilevel Autoresearch는 2계층 루프를 사용하여 이를 수행합니다. 내부 에이전트는 작업 코드를 최적화하고 외부 에이전트는 내부 검색 메커니즘을 최적화합니다. 시스템이 개선된 것은 단순히 답이 아닌 '어떻게 답을 찾을 것인가'이다. RHI(Recursive Harness Self-Improvement)도 비슷한 결과를 얻었습니다. 30개의 합성 기계 학습 연구 작업에서 업데이트된 저예산 에이전트가 최적화되지 않은 최고 예산 구성을 초과하는 동시에 추론 비용을 최대 약 60%까지 줄였습니다. 때로는 단순히 사고 예산을 늘리는 것보다 운영 메커니즘을 개선하는 것이 더 효과적일 때도 있습니다. 그러나 두 결과 모두 주로 통제된 규모의 실험에서 나온 것입니다. 닫힌 루프가 가끔 좋은 솔루션을 찾지 않는다는 것을 증명하려면 더 긴 실행, 여러 후속 버전 및 루프 외부 테스트가 필요합니다. AIDE²는 이 세 가지를 하나로 묶으려고 노력합니다. 실제로 논란을 불러일으킨 것은 AIDE²였다. Weco 팀은 자동화된 연구 에이전트에게 외부 개선자 역할을 하도록 요청하여 내부 AIDE의 구동 도구를 연속 100단계로 다시 작성했습니다. 8일간의 무인운영 동안 7개 연속 개선 버전을 걸러냈다. 팀은 최고의 버전이 출발점을 넘어섰을 뿐만 아니라, 2년 동안 수동으로 튜닝한 버전도 넘어섰다고 보고했다.루프가 이전에 본 적이 없는 작업을 수행합니다. 보상 치트에 또 다른 변화가 생겼습니다. 최적화에 참여하지 않은 GPU 커널 프로그램 테스트 KernelBench에서는 초기 버전의 테스트 사례 중 63%에서 "공개 점수가 향상된 것 같으나 숨겨진 검증이 인식되지 않는" 상황이 발생했습니다. 가장 발전된 버전에서는 이를 34%로 줄입니다. 여기서 비공개 점수는 시스템 최적화 시 볼 수 없는 점수로 최종 시에만 사용됩니다.수락. 공개 점수에만 부합하는 버전을 제거했을 수도 있습니다. Weco는 이를 레벨 1: 순 긍정적 개선(Net Positive Improvement)이라고 부릅니다. 이는 일반적인 업계 표준은 아니지만 현재 심각하게 받아들여야 할 제한된 RSI의 증거입니다. 증거의 경계도 명확합니다. 결과는 팀의 자체 보고에서 나오고, 전체 보고서는 아직 공개되지 않았으며, 진화된 시스템에서 반복이 있습니다. 복잡성 부풀림 및 데드 코드. 더 중요한 것은 다음 단계의 점화 테스트에 실패했다는 것입니다. 개선된 시스템은 다른 버전을 개선하는 데 있어 이전 시스템보다 더 나은 것으로 입증되지 않았습니다. 반대 증거는 AI4AI-Bench에서 나옵니다. 이를 통해 에이전트는 고정 리소스 내에서 훈련 알고리즘을 다시 작성할 수 있으며, 에이전트에 액세스할 수 없는 평가자가 이를 채점합니다. 원래 알고리즘을 0.1로, 작업 최적 값을 1.0으로 취하면 가장 강력한 시스템은 0.250만 얻고 대부분의 제출물은 실제로 "학습 방법" 모델을 수정하지 않습니다. 현재 에이전트는 프로젝트 수리, 운전 조정에 매우 능숙합니다.장비와 실험을 실행하고 있지만 훈련 알고리즘의 핵심을 다루는 능력은 여전히 매우 얕습니다. 결론: 폐쇄 루프는 순 긍정적으로 몇 번 회전할 수 있었지만 이전 랩으로 인해 다음 랩이 더 빨리 회전할 것이라는 점은 입증되지 않았습니다. 통합된 관점: RSI가 어디로 갔는지 판단하는 방법 다음 표에서는 처음에 네 가지 기준(지속적인 개선, 자율적 폐쇄 루프, 재귀적 이득, 견고성 및 제어 가능성)을 사용하여 이전 발전을 비교하고 주요 격차를 표시합니다. 메타 연구 폐쇄 루프에 대한 거의 모든 관련 작업은 2026년 최근 몇 달 동안의 arXiv 사전 인쇄에서 나온 것입니다. 그 중 AIDE²는 팀이 자체 보고한 블로그 결과이며 아직 동료 검토를 거치지 않았습니다. 이러한 결론확정된 합의가 아닌 단계적 관찰로 보아야 합니다. ✅ 표의 경우 비교적 직접적인 증거가 있음을 나타내고, ⚠️은 제한된 조건에서만 확립되었거나 아직 증거가 부족함을 나타내며, ❌는 아직 입증되지 않았음을 나타냅니다. 이 분야의 역사는 "시스템에 의해 변경될 수 있는 객체"가 한 층씩 발전해 나가는 역사입니다. 변화된 객체는 출력과 메모리에서 매개변수, 평가, 주행장비, 훈련환경으로 점차 바뀌며 마침내 개선을 낳는 메커니즘 그 자체를 만났다. 더 깊이 들어갈수록 "개선"을 정의하기가 더 어려워지고 증명하기도 더 어려워집니다. 이전의 네 가지 기준(지속적인 개선, 자율적 폐쇄 루프, 재귀적 이득, 견고성 및 제어 가능성)으로 돌아가서 오늘날 점화 및 개방형 RSI를 실제로 차단하는 것은 마지막 세 가지 기준 각각에서 교차하기 가장 어려운 부분입니다. 이는 네 개의 연동 문으로 나눌 수 있습니다. 첫 번째 게이트(자율 폐쇄 루프가 신뢰할 수 있는지 여부): 검증자가 신뢰할 수 있고 시스템이 이를 변경할 수 없는지 여부입니다. 시스템이 개선자이자 판단자일 때 판단 기준은 반복을 통해 표류할 수 있습니다. Meta-Rewarding의 "심사위원"은 나중에 점점 더 높은 점수에 편향되게 되었고 EURISKO는 더 일찍 자신의 이름을 신용 장부에 기입하는 방법을 배웠습니다. 그들은 모두 같은 것을 생각나게 합니다: 최적화프로세스는 측정항목과 실제 목표 사이의 모든 균열을 공격합니다. 여기서 외부 앵커는 개선된 시스템에 의해 변조될 수 없는 평가 또는 제약을 의미합니다. 공식 증명, 실행 가능한 검증자 및 숨겨진 테스트는 일반적으로 모델 자체 평가보다 더 안정적입니다. AIDE²의 숨겨진 점수는 내부 에이전트가 이를 조작할 수 없기 때문에 일부 보상 부정 행위를 정확하게 줄일 수 있습니다. 진정으로 확실한 원칙은 사람들이 모든 단계를 감사하도록 하는 것이 아니라 평가자와 권한 경계가 발전 중인 시스템의 통제 범위 밖에 있어야 한다는 것입니다. 수학 및 코딩 작업은 증명자, 컴파일러 또는 숨겨진 테스트에 의존할 수 있습니다. 연구 취향, 장기적인 코드 상태 및 배포 경계에는 여전히 최종 인간의 판단이 필요합니다. 두 번째 문(강력하고 제어 가능한 문): 개선이 자신의 데이터 배포 이상으로 확장될 수 있는지 여부. 자체 생성 데이터로 자신을 훈련하면 기존 편차가 증폭되고 다양성이 완화되며 결국 모델 붕괴로 이어집니다. 출력은 점점 더 단조로워지고 자체 훈련 라운드에서 원래 오류가 반복적으로 증폭됩니다. 운전 도구를 수정하기 위해 고정된 문제 은행을 사용하는 경우,문제 은행 기능을 작업 흐름에 작성하여 또 다른 종류의 과적합을 만듭니다. 보이지 않는 임무에 대한 한 가지 개선만으로는 충분하지 않습니다. 시스템은 숨겨진 시험 응시 기술보다는 이전 가능한 능력을 축적하고 있음을 입증하기 위해 작업, 영역 및 시간 전반에 걸쳐 숨겨진 평가를 거쳐야 합니다. 세 번째 게이트(재귀적 이득 자체): 개선이 실제로 재귀적 이득을 갖는지 여부. 작업 점수가 높아진다고 해서 시스템이 다음 개선 사항을 설계한다는 의미는 아닙니다. AIDE²는 점화 과정 없이 다단계 순 긍정적 개선을 보여줍니다. AI4AI-Bench는 대부분의 시스템이 여전히 핵심 학습 알고리즘을 수정하지 않음을 보여줍니다. 기반이 너무 약하면 자체 생성 데이터와 자가 진단의 품질이 저하될 수 있습니다.또한주기를 점점 더 나선형으로 만듭니다. 네 번째 관문(견고함 및 제어 가능 2): 기능, 복잡성 및 제어가 함께 확장될 수 있는지 여부. 당신이 강해질수록 당신은 더 "순종적"이 되고, 코드를 더 많이 변경할 수 있을수록 유지 관리가 더 쉬워집니다. AIDE²의 데드 코드와 복잡성 인플레이션은 소규모 경고입니다. 대규모 훈련 시스템에서는 권위가 높아지고 반복 속도가 빨라질수록 각 변화가 무엇인지 인간이 이해하기가 더 어려워집니다.가져옵니다. OpenAI 수석 과학자 Jakub Pachocki는 장기적으로 최고 속도로 책임 있게 확장할 수 있을 만큼 정렬 및 모니터링을 해결한 실험실은 없다고 공개적으로 밝혔습니다. 실제 목표는 단순히 기능 곡선을 높이는 것이 아니라 보안, 모니터링, 롤백 및 감사 기능을 최소한 동시에 높이는 것입니다. AutoResearchEval은 800개의 실제 과학 연구 궤적을 조사하고 45가지 유형의 실패를 요약했습니다. 그들은 궁극적으로 동일한 격차를 지적합니다. 현재 에이전트에는 안정적인 메타인지 루프가 부족하고 결론과 증거를 지속적으로 확인할 수 없으며 오류가 발생할 때 안정적으로 물러나거나 자신의 연구 경로에 적극적으로 의문을 제기할 수 없습니다. 여러 워크플로우 세트만으로는 문제를 해결할 수 없습니다. 따라서 더 현실적인 그림은 인간이 단순히 폐쇄 루프에서 쫓겨나는 것이 아니라 코드 작성에서 코드 테스트로, 실험 실행에서 설계 검증으로, 로컬 실행에서 연구할 가치가 있는 것이 무엇인지 결정하는 것, 발전하기에 충분한 증거가 무엇인지, 필요할 때까지 추상적인 사다리 위로 올라간다는 것입니다. 멈추다. 기계가 점점 더 많은 일자리를 차지하고 있고, 인간에게 남은 것은 모든 단계를 운영할 권리가 아니라 목표를 달성할 수 있는 힘, 검증 경계, 최종 거부권이다. 결론: 자기 개선 폐쇄 루프가 등장했지만 재귀적 이득은 여전히 입증되어야 합니다. EURISKO가 "자신을 속이는" 방법을 배운 1981년부터 모델이 평가, 운전 장비 수정, 전략 업데이트 및 후속 교육에 참여하기 시작한 2026년까지, 보다 정확한 결론은 제한적이고 측정 가능한 자기 개선 폐쇄 루프가 등장했으며 순 긍정적 이익을 창출하기 시작했다는 것입니다. 그러나 개선된 시스템이 지속적으로 자체 개선을 했다는 충분한 공개 증거는 없습니다.개선 능력. 따라서 폐루프가 닫히는 방식이 폐루프 자체가 닫히는 것보다 더 중요합니다. 기준의 표류로 닫히는 폐쇄 루프는 왜곡된 목표를 최적화하는 데 점점 더 능숙해집니다. 데이터 분포 붕괴로 닫히는 폐쇄 루프는 점점 더 좁은 작업 하위 집합에서 점점 더 좋아지고 있습니다. 정렬 편차 증폭의 폐쇄 루프는 점점 더 가능해지며 수정하기가 어려워집니다. 실제 질문은 두 가지 질문으로 바뀌었습니다. 불이 붙을 것인가, 그리고 불이 붙을 때 불변의 경계 밖에 무엇이 남을 것인가? 전자는 개선된 역량을 반복적으로 얻을 수 있는지 여부에 따라 달라지며, 후자는 검증, 권한 및 거버넌스가 계속해서 효과적일 수 있는지 여부에 따라 달라집니다. 40년 전 "발견자" 목록에 자신의 이름을 올렸던 EURISKO로 돌아가 보세요. 이것이 활용한 허점은 실제로 오늘날 가장 최첨단 자가 진화 시스템이 직면한 문제와 동일합니다. 시스템이 자체적으로 점수를 매기기 시작할 때 시스템이 실제로 더 좋아졌는지, 아니면 방금 스스로 더 좋아 보이도록 학습했는지 여부를 어떻게 알 수 있습니까? 40년이 지났고 시스템의 성능은 매우 달라졌지만 이 문제는 거의 변하지 않았습니다. 변한 것은 위험입니다. 당시 보드 게임에서 이기거나 지는 것은 미래의 과학 연구와 경제 시스템이 작동하는 방식일 수 있습니다. 이 격차가 최종적으로 어떻게 메워지는지는 우리가 언제, 어떻게 손을 댔는지, 아니면 철회했는지에 달려 있습니다.