Yazar: Zhao Zhimin, PhD, Queen's Üniversitesi, Kanada (araştırma yönü: kod zekası ve dünya modeli)
RSI'yi ilk kez duyuyorsanız bu makale bir başlangıç noktası olabilir. Sizi RSI'dan, kendini geliştirmeye çalışan en eski yapay zekadan başlayarak kodları değiştirebilen, eğitim verileri oluşturabilen ve model geliştirmeye katılabilen günümüz Aracılarına kadar götüreceğiz ve yapay zekanın adım adım kendini geliştirmeyi nasıl öğrendiğini göreceğiz.
Temmuz 2026'da OpenAI, GPT-5.6'yı yayınladı. Karnesinde ilk kez biraz alışılmadık yeni bir konu ortaya çıktı: Yapay Zeka, Yapay Zeka'nın iyileştirilmesine katılıp katılamaz.
OpenAI bu yeteneği kişisel gelişim olarak listeliyor. GPT-5.6 Sol %57,9, GPT-5.5 %41,7 alıyor ve iki nesil modeller arasındaki fark yüzde 16,2 puan. Test ettiği şey, modelin kaç tane normal soru yapabileceği değil, AI Ar-Ge sitesine girip giremeyeceğidir: araştırma sistemindeki sorunları giderin, GPU çekirdek programını (GPU çekirdeği) ve eğitim tariflerini optimize edin, makine öğrenimi deneyleri yapın ve hatta bir başkasını geliştirmeye yardımcı olun.modeli.
Bu münferit bir haber değil. Aynı yaz OpenAI, temsilcilerden "otomasyon araştırma stajyerleri" olarak bahsetmeye başladı. Kuaishou AgentX, temsilcilerin plan önerme, kod yazma ve eski ile yeni sürümleri çevrimiçi olarak karşılaştırma (A/B testi) süreçlerine katılmasına izin verdi. Google, modelin bir sonraki sürümünün geliştirilmesinde uzun süredir devam eden bir aracı döngüsünün yer aldığını söylüyor. Motus2, gerçek robotlara tahmin, değerlendirme ve strateji güncellemeleri getiriyor.
Bu vakalar sırasıyla Ar-Ge uygulamalarını, endüstriyel deneyleri, model eğitimini ve fiziksel operasyonları içeriyor ancak bunların hiçbiri en kritik soruyu cevaplamıyor: Geliştirilmiş sistem bir sonraki iyileştirmeyi tamamlamada daha iyi olacak mı?
Özyinelemeli Kişisel Gelişimin (RSI) sorduğu soru budur. OpenAI, bu değerlendirmeyi "RSI'ya erişim yeteneğini" ölçen RSI Endeksi olarak adlandırıyor. Soruların tamamı, görev ağırlıkları ve toplama formülleri açıklanmadığından %57,9 yalnızca dahili kapsamlı bir gösterge olarak kabul edilebilir ve RSI'nin görev geçme oranı veya "tamamlanma derecesi" olarak anlaşılamaz.
Öyle bile olsa, bu rakamlar hâlâ bir değişime işaret ediyor: Eskiden esas olarak düşünce deneylerinde var olan bir sorun, son teknoloji laboratuvarlar tarafından ölçülebilir araştırma ve geliştirme yeteneklerine dönüştürülmeye başlandı.
Araştırmacıların yavaş yavaş makinelere daha fazla iyileştirme aktarması kırk yıl sürdü. Bu makale ilk önce kolayca karıştırılabilen birkaç yeteneği birbirinden ayırıyor ve ardından hangi sınırlı kapalı döngülerin döndüğünü, bunların neden hala "zeka patlamasına" eşdeğer olmadığını ve kapalı döngünün neden nasıl kapatıldığının kapalı olup olmadığından daha önemli olduğunu görmek için beş "sınır ilerlemesi" üzerinden ilerliyor. Bu beş ilerleme yalnızca bir anlatı çerçevesidirtarihin çözümlenmesine yönelik ve akademik çevreler tarafından tanınan teknolojik nesiller değiller. Zamanla örtüştüler ve bugün de paralel olarak gelişmeye devam ediyorlar.
RSI Nedir: Kişisel gelişimden yinelenen kazanca
Bu haberlerin hepsi "kişisel gelişimden" bahsediyor ama kapalı bir döngünün nasıl kapandığını anlatmıyor.
Geleneksel anlamda özyinelemeli kişisel gelişim (RSI), bu yeteneği üreten bilişsel mekanizmayı geliştirmek için mevcut yeteneklerini kullanan bir yapay zeka sistemini ifade eder. Geliştirilen sistem daha sonra bir sonraki iyileştirme turuna katılır. Burada en kafa karıştırıcı olan şey şudur: Kendini geliştirmek, kendini hızlandırmak anlamına gelmez. Bir sistem sabit bir soru bankasında giderek daha iyi hale gelebilir, ancak bir sonrakini tasarlamada daha iyi olamazeğitim turu. Bir şirket, akıllı aracıların yaygın kullanımı nedeniyle araştırma ve geliştirmeyi de hızlandırabilir, ancak iyileştirmenin kendisinden kaynaklanan bir bileşik faiz yoktur.
Bu kavram yeni değil. 1863'te Samuel Butler, makinelerin yinelemeli evrim yoluyla insanları geride bıraktığını hayal etmişti. 1950'de Turing, eğitilebilecek ve kendini değiştirebilecek bir "Çocuk Makine" inşa etme olasılığını önerdi. 1965'e gelindiğinde I. J. Good şunu da belirtti: Eğer "daha iyi makineler tasarlamanın" kendisi de zeka gerektiriyorsa, o zaman yeterince akıllı olan bir makine, gelişmeye devam edecek olan daha güçlü ardılları tasarlayabilir.ve "istihbarat patlaması" başlıyor.
Asıl önemli olan yapay zekanın iyileştirmeye katılıp katılmaması değil, iyileştirilen sistemin iyileştirme konusunda daha iyi hale gelip gelmediğidir. Bu ayrımı açıkça görebilmek için RSI, en düşük zorluktan en yüksek zorluğa doğru sıralanan dört gözlemlenebilir kritere ayrılabilir.
Bu makale aşağıdaki çerçeveyi benimser. Akademik dünyadaki tek standart tanım değildir ancak sıklıkla birbirine karıştırılan iddiaları ayırmayı amaçlamaktadır:
Kalıcı iyileştirmeler: Cevap bittiğinde ortadan kaybolmak yerine, ağırlıklara, belleğe, aletlere, ekipmanlara veya eğitim rutinlerine etkili değişiklikler dahil edilebilir. Buradaki ağırlıklara, modelin eğitim sırasında sürekli olarak ayarladığı ve sonunda kaydedilen sayılar kümesi olan parametreler de denir. Ancak bu başarıldığında kişisel gelişimden bahsedebiliriz; bu terim bu makalede genel olarak iyileşmeyi ifade etmek için kullanılmıştır.Çıkış, hafıza, parametreler veya sürüş ekipmanı.
Otonom kapalı döngü: Sistem sorunları tanımlayabilir, değişiklikler önerebilir, deneyler yapabilir, sonuçları değerlendirebilir ve tanımlanmış sınırlar dahilinde daha iyi versiyonları benimseyebilir. Yeni sürümler, bu makalenin sınırlı RSI olarak adlandırdığı bu sınır dahilindeki bir sonraki iyileştirme turuna katılabilir.
Özyinelemeli kazanç ("ateşleme" olarak da adlandırılır): Yeni sürüm yalnızca görevde daha yüksek puan almakla kalmaz, aynı zamanda bir sonraki iyileştirmeyi oluşturma konusunda da eski sürümden daha iyidir. Ancak bu noktayı geçtikten sonra "gelişme yeteneğinin kendisi", bu makalenin özyinelemeli kendi kendini hızlandırma olarak adlandırdığı ilgiyi artırmaya başlayacaktır.
Sağlam ve kontrol edilebilir: Kazanımlar, sabit kaynaklar ve gizli değerlendirmeler altında sürdürülür ve değerlendirme kirliliğinden, kontrol dışı sistem karmaşıklığından, hizalama bozulmasından veya denetlenemezlikten ödün vermeden görünmeyen görevlere genelleştirilebilir (hizalama, yalnızca belirli bir puanı yükseltmek yerine yapay zeka davranışını insan niyetlerine ve sınırlarına uygun hale getirmeyi ifade eder). Yalnızca dört kriterin tümü karşılandığında açık RSI'ya yakın olur.
Şu anda ilk ikisi ortaya çıktı, üçüncüsünün yeterli kamuya açık delili yok ve dördüncüsü henüz çözülmedi. Sınırlı bir kapalı döngü ortaya çıktı, ancak bu yinelemeli kendi kendine ivmenin başladığı anlamına gelmiyor. Ancak artan araştırma zorluğu ve daha uzun yineleme döngüleri gibi yinelemeli geri bildirim direnci dengelemek için yeterli olduğunda iyileştirmeler kendi kendini güçlendiren aralığa girecektir.
Aşağıdaki dört ifade sabit olarak kullanılacaktır. Kişisel gelişim genellikle çıktının, hafızanın, parametrelerin veya sürüş ekipmanının iyileştirilmesi anlamına gelir. Yeni sürümler, bu makalenin sınırlı RSI olarak adlandırdığı, sabit sınırlar dahilindeki bir sonraki iyileştirme turuna katılabilir. Geliştirilen sistem, "ateşlemenin" üçüncü katmanı olan özyinelemeli kendi kendine hızlanma adı verilen iyileştirme konusunda daha yetenekli hale gelir. Eğer bu kazanç mümkünsesürdürülebilir, genelleştirilmiş ve orijinal görev sınırlarının ötesinde, açık RSI'ya yakın olacaktır.
Şu anda ilk iki katman ortaya çıktı, üçüncü katmanın yeterli kamuya açık delili yok, dördüncü katman ise henüz çözülmemiş durumda. Sınırlı bir kapalı döngü ortaya çıktı, ancak bu yinelemeli kendi kendine ivmenin başladığı anlamına gelmiyor. Ancak artan araştırma zorluğu ve daha uzun yineleme döngüleri gibi yinelemeli geri bildirim direnci dengelemek için yeterli olduğunda iyileştirmeler kendi kendini güçlendiren aralığa girecektir.
Bugün tam olarak nerede olduğumuzu görmek için 1981'de "hile yapmayı" öğrenen yapay zekaya dönmemiz gerekiyor.
RSI Nedir: Kişisel gelişimden yinelenen kazanca
1981 yılında Douglas Lenat, EURISKO adında bir sistem kurdu. Sorunları çözmek için sadece buluşsal kuralları kullanmakla kalmıyor, aynı zamanda yeni kurallar üretebiliyor, değiştirebiliyor ve değerlendirebiliyor, hatta bu mekanizmayı kendi üzerinde de kullanabiliyor. Bu, zamanının oldukça ilerisindeydi.
EURISKO, Traveler TCS uzay savaşı satrancı ulusal şampiyonasına katıldı. Filolar tasarlıyor, savaşları simüle ediyor ve stratejisini başarısızlığa göre ayarlıyor. 1981'de ve organizatörlerin kuralları değiştirmesinin ardından 1982'de şampiyonluğu kazandı. O dönemde yapay zeka topluluğu şok olmuştu: Bu şey aslında kendini geliştirebilirdi!
Ancak Lenat çok geçmeden daha zor bir sorunla karşılaştı.
EURISKO, yüksek puanlara ulaşmanın tek yolunun gerçek yeteneklerinizi geliştirmek olmadığını keşfetti. Belirli bir kural gerçekten önemli bir keşif yapmadı, ancak diğer kurallar keşif yaptığında adını "keşfedenler" listesine eklemeyi öğrendi, böylece dahili "yararlılık" puanı hızla en yüksek seviyeye yaklaştı. Başka bir deyişle, daha akıllı hale gelmedi ancak değerlendirme mekanizmasındaki boşluklardan yararlanmayı öğrendi.
Bu olguya günümüzde genellikle ödül hackleme (ödül spekülasyonu da denir) adı verilmektedir: Sistem, puanı artıran boşluklar bulur ancak aslında tasarımcıların amaçladığı hedeflere ulaşamaz. Bu özellikle yapay zekanın kendini geliştirmesi bağlamında ölümcüldür: Sistem hem geliştirilmekte olan sistem olduğunda hem de değerlendirme sürecini etkileyebildiğinde, kendini geliştirme kendini kandırmaya dönüşebilir. Bu tuzakla tekrar karşılaşacağız vedaha sonra tekrar.
Sonraki yıllarda, genetik algoritmalar, evrimsel stratejiler ve nöroevrim, arama ve seçmenin karmaşık davranışlara yol açabileceğini sürekli olarak kanıtlamış ve aynı sorunu tekrar tekrar ortaya çıkarmıştır: Değerlendirme hedefinde boşluklar olduğu sürece, sistem gerçekten daha güçlü olmak yerine önce boşluklardan yararlanmayı öğrenebilir.
Bu konu 2017'ye kadar uzanıyor ve daha uç bir durum ortaya çıkıyor: DeepMind'ın AlphaZero'su. Go, satranç ve shogi'de sıfırdan ustalaşmak tamamen kendi kendine oynamaya dayanır. "Kendinizi ürettiğiniz verilerle eğitmenin" gücü ilk kez tam anlamıyla ortaya çıktı.
Bu makalenin dört katmanlı çerçevesi açısından AlphaZero sınırlı bir uygulamadır: kendi kendine oynama eğitim sinyalleri üretir, yazma ağırlıklarını geliştirir ve ilk iki katman sabit oyun içinde oluşturulmuştur.
Ancak temel sınırlama şudur: Kapalı döngünün sınırları insanlar tarafından çizilir ve sistem, sınırları kendisi değiştiremez. Ödül işlevi (bir oyunu kazanma puanı), oyun kuralları, eğitim süreci ve değerlendirme yöntemlerinin tümü önceden insanlar tarafından kodlanmıştır. AlphaZero, tamamen kapalı bir sanal alanda uzun ömürlü, otonom, kendini geliştiren bir kapalı döngü uygular, ancak bu sanal alanı sorgulayamaz veya değiştiremez. Bu şu anlama geliyorgelişimi her zaman "satranç oynamada daha iyi" boyutuyla sınırlı olacak ve hiçbir zaman sanal alanın dışına taşınamayacaktır.
Bu, tarihsel yöntemlerin ortak tavanıdır. Yüksek Lisans dönemindeki araştırmalar bunu tek adımda aşmadı, başlangıçta insanlar tarafından kontrol edilen bağlantıları birer birer kapalı bir döngüye taşımaya başladı. Teslim edilecek ilk şey, "neyin değiştirilmesi gerektiğini" belirlemek için geri bildirim sinyalidir.
İlk hamle (2022–2023): Yapay zekanın kendi hatalarından ders almasına izin verin
Tarihteki tüm yöntemler aynı yere sıkışmıştır: İyileşmenin yönü insanlar tarafından önceden yazılmıştır. EURISKO ve AlphaZero insanlar tarafından verilen değerlendirme fonksiyonlarına dayanır ve genetik algoritmalar da insanlar tarafından tasarlanan uygunluk fonksiyonlarına dayanır. Sistem gelişebilir ama ancak insanın çizdiği yolda ilerleyebilir. İlerlemek için ilk adım şunu sormaktır: Sistem mevcut çıktının kalitesini kendi başına değerlendirebilir mi?Birbiri ardına insan müdahalesine güvenmeden ve iyileştirme için yönler üretmeden mi? Bir sonraki revizyona işaret edebilecek bu tür geri bildirimlere bu makalede "iyileştirme sinyali" adı verilmektedir.
Geçmişte bu adım mümkün değildi çünkü makineler "iyi bir cevabın ne olduğunu" okuyamıyordu. 2022'nin ikinci yarısına gelindiğinde Büyük Dil Modeli (LLM) hem dili anlayabilecek hem de bir metin parçasının kalitesini değerlendirebilecek. Sistemin kendi sözlü geri bildirimini üretmesine izin vermek ilk kez yaygın bir yaklaşım haline geliyor. Bu rotanın temel kısıtlaması şudur: süreç boyunca tek bir parametrenin değiştirilmemesi ve iyileştirmenin sağlanmasıesas olarak akıl yürütme sürecinde ve dış hafızada meydana gelir.
Düşünme: Başarısız incelemeyi yeniden kullanılabilir belleğe dönüştürün
En doğrudan fikir, yerinde yanıtlama sürecinde modelin tekrar tekrar cilalanmasına izin vermektir: önce yanıtı verin, sonra yanıtı eleştirin ve ardından süreç boyunca parametreleri değiştirmeden döngüyü tekrarlayarak yanıtı yeniden yazın. Ama doğuştan gelen bir kusur var. Kendi çıktısını eleştirmek için aynı modeli kullanmak, aynı kumaş parçasını ölçmek için aynı cetveli kullanmaya eşdeğerdir ve kişinin kendi çıktısını ölçmesi zordur.kör noktalar. İnceleme yalnızca mevcut bağlamda kalırsa, görev sona erdikten sonra ilerleme kaybolacaktır.
Reflexion (NeurIPS'23) bu temelde önemli bir tasarım ekliyor: epizodik bellek. Bir görev başarısız olduğunda model, doğal dilde bir ölüm sonrası inceleme yazar, incelemeyi kaydeder ve benzer bir görevle bir sonraki karşılaştığında doğrudan bağlamı enjekte eder. Bu, yapay zekaya yanlış sorulardan oluşan bir kitap vermekle eşdeğerdir. Ne kadar çok yanlış soru biriktirirseniz bir sonraki başlangıç için başlangıç noktanız o kadar yüksek olur.
HumanEval Python programlama testinde Reflexion'ın pass@1 doğruluğu %91'e ulaşarak makalede listelenen önceki en iyi GPT-4 sonucunu (%80) aştı. pass@1, her sorunun tam cevap süreci için yalnızca bir kez hesaplandığı ve gizli birim testini geçen son programın oranının hesaplandığı anlamına gelir. Tüm süreç boyunca model parametreleri değiştirilmedi.
İlk ilerlemenin sınırı: hafıza kalıcı olabilir ve temel yetenek yeni bir versiyon oluşturmaz.
Reflexion'ın epizodik hafızası görevler arasında muhafaza edilebilir, dolayısıyla "kalıcı gelişmeyi" kısmen karşılar. Ancak kaydedilen şey, model parametreleri değil, harici metin belleğidir ve daha güçlü temel yeteneklere sahip yeni bir model üretmez. Bellek kaldırıldığında yetenek orijinal durumuna geri döner.
Tek kelimeyle: Bu adım, yapay zekaya kurtarılabilecek yanlış sorulardan oluşan bir kitap verir, ancak henüz deneyimi vücuda dahil etmemiştir. İleriye dönük olarak, gerçekten yeni bir versiyon oluşturmak için parametrelere iyileştirmeler yazılmalıdır.
İkinci hamle (2022–2024): Oluşturduğunuz verilerle kendinizi eğitin
Daha sonra yanlış soru kitabını modelin gövdesine kaynaklayın. Bu ilerlemede çözülmesi gereken sorun, bağımsız olarak üretilen iyileştirilmiş sinyallerin gerçekten kalıcı bir yetenek iyileştirmesi oluşturacak şekilde parametrelere yazılmasına izin vermektir. Bu adım olmasaydı, "sonraki sürüm öncekinden daha güçlüdür" şeklindeki özyinelemeli yapı olmazdı ve RSI olmazdı.
Fikir çok basit: Modelin kendi başına bir dizi eğitim verisi oluşturmasına izin verin ve ardından bu verileri kendini yeniden eğitmek için kullanın. Bu biraz "sol ayakla basmak ve sağ ayakla gökyüzüne ulaşmak" gibi geliyor. Gerçekten üzerine basıp basamayacağı bu adımda doğrulanması gereken bir şeydir.
Bu, ağırlık seviyesindeki kalıcı iyileştirmelere büyük dil modelleri tarafından sistematik olarak değinilen ilk seferdir.
STAR: Akıl yürütme zinciri önyüklemesinin temel çalışması
2022'de, STaR (Kendi Kendine Öğretilen Akıl Yürütücü) (NeurIPS'22), modelin akıl yürütme sürecini oluşturmasına olanak tanır, kendisine ince ayar yapmak için yanıtın doğru kısmını korur ve ardından bir sonraki akıl yürütme süreci grubunu oluşturmak için güncellenmiş modeli kullanır.
Sorun şu ki, eğer model ilk etapta tüm cevapları yanlış alırsa döngü başlamayacaktır.
STaR'ın çözümüne ters akıl yürütme denir: önce modele doğru cevabı söyleyin ve problem çözme sürecini tersine çevirmesine ve eğitim için kullanmasına izin verin. Bu, karanlık bir odada ışığı açıp yürümeyi öğrenmesini beklemek, sonra ışığı kapatıp kendi başına yürümesine izin vermekle eşdeğerdir.
SPIN: Modelin geçmiş versiyonlarla karşılaştırıldığında iyileştirilmesi
STaR'ın filtreleme eşiği sabittir; SPIN (Kendi Kendine Oynatma İnce Ayarı) (ICML'24), mevcut modelin tarihsel versiyona karşı oynamasına ve "insan gösterimi" ile "tarihsel versiyonun çıktısı" arasında ayrım yapmayı öğrenmesine olanak tanır. İkisi arasında ayrım yapmak ne kadar zor olursa, bu, modelin insan gösterimine daha yakın olduğu ve tüm süreç boyunca yeni bir manuel açıklamaya ihtiyaç duyulmadığı anlamına gelir.
İkinci itişin sınırı: ağırlıklar değişti ama hedef ve kırmızı kalem hâlâ insanlar tarafından sağlanıyor.
Bu adım, ağırlık seviyesinin kalıcılığı sorununu çözüyor ancak geri bildirim sinyali hala insanlara dayanıyor. Ödül işlevi insanlar tarafından tasarlanır, eğitim görevleri insanlar tarafından seçilir ve veri filtreleme kriterleri de insanlar tarafından formüle edilir. Sistem otonom olarak aday verileri üretebiliyor ancak hangi verilerin “iyi” ve eğitime değer olduğuna karar vermek hâlâ insanların elinde. SPIN yeni kılavuz gerektirmezek açıklamalar, ancak yine de mevcut insan gösterimi dağılımını hedef alıyor, dolayısıyla üst sınır hala bu dağılıma bağlı.
Daha derindeki sorun yinelemeli kazancın henüz ortaya çıkmamış olmasıdır: modelin yetenekleri geliştikçe, sabit eğitim görevleri yavaş yavaş zorluklarını kaybedecektir. Sistem, bu soru grubunu tamamlama konusunda giderek daha iyi hale gelecektir, ancak eğitimin kendisini tasarlama konusunda giderek daha iyi olacağına dair hiçbir kanıt yoktur. Tıpkı bir sporcunun 10 saniyenin altında koşması gibi ama antrenör hala ilkokul standartlarını kullanıyorBeden eğitimi derslerini yargılamak, değerlendirme standartlarının tavanı nedeniyle iyileştirme alanı kesilecektir.
Kısaca: Sistem kendi kendine veri üretebiliyor, soruları cevaplayabiliyor ama bunu tek başına düzeltemiyor. Kırmızı kalem insan elinde olduğu sürece tavanı yine insan çizecek.
Üçüncü ilerleme (2022–2025): Yapay zekaya daha fazla puanlama hakkı verin
O kırmızı kalem de yapay zekaya verilebilir mi? Puanlama ve geri bildirim verme, manuel açıklamalara veya insanlar tarafından yazılan doğrulayıcılara dayandığı sürece, iyileştirmenin yönü yine insanların elinde olacaktır. Buradaki doğrulayıcı, önceden belirlenmiş kurallara göre sonucun doğru veya yanlış olduğunu otomatik olarak belirleyebilen bir programdır. Üçüncü itişin azaltacağı bağımlılık katmanı budur: Yapay zeka tarafından daha fazla geri bildirim sinyali üretilebilir mi?kendisi mi?
Bu, otonom kapalı döngünün derinleşmesidir: yalnızca modelin çıktıya yansımasını sağlamakla kalmaz, aynı zamanda eğitim geri bildiriminin bir kısmını da yapay zekaya verir.
CAI'den Meta Ödüllendirmeye: Değerlendirme yanıtlarından değerlendirme jürilerine
Üçüncü itişin özü, "kim gol atacak?" sorusunun üçlü atlamasıdır.
İlk sıçrama: 2022'de Anthropic, Anayasal Yapay Zeka'yı (CAI) önerdi. İnsanlar yalnızca yazılı bir ilke yazar ve ardından yapay zekanın ilkelere göre puan almasına izin verir. Deneyde bu, manuel puanlama eğitiminin etkisinden önemli ölçüde farklı değildir ve insanların artık madde madde puanlamaya katılmalarına gerek yoktur.
İkinci sıçrama: 2024'te Meta'nın Kendini Ödüllendiren Dil Modelleri (ICML'24) bir adım daha ileri gidiyor. Aynı model hem cevapları yazıyor, hem kendisini hem de diğer aday cevaplarını puanlıyor ve bu puanlarla kendini güncelliyor. Kullandığı ince ayar yöntemine Doğrudan Tercih Optimizasyonu (DPO) denir ve bu basitçe şu şekilde anlaşılabilir: "Bu yanıt, bundan daha iyidir. Gelecekte, daha iyisine güvenin."
Llama 2 70B'den başlayarak, üç tekrardan sonra AlpacaEval 2.0'daki kazanma oranı %9,94'ten %20,44'e yükseldi. Burada GPT-4 hakem, GPT-4 Turbo ise rakip olarak görev yapıyor. Kazanma oranı genel anlamda doğru cevap oranı değildir.
Üçüncü sıçrama: Cevapların kalitesi kendiliğinden gelişebildiğine göre, yargının kalitesi de gelişebilir mi? Meta-Ödüllendirme (2024), bu temelde bir "meta-yargı" katmanı ekler. Aynı model aynı anda davalı, yargıç ve “yargıç yargıcı” rollerini oynar. Üçüncü rol bu sefer skorun doğru olup olmadığına karar vermeye adanmıştır. Her güncelleme turu sırasında model iki yönde hareket eder: "daha iyi yanıt verenler" ve "daha fazla yanıt veren"aynı zamanda doğru yargıçlar".
Ancak makale aynı zamanda dikkat edilmesi gereken bir olguyu da kaydediyor: Birkaç tur tekrardan sonra "yargıçların yargıçları" bozulmaya başlıyor. Artık hangi puanın daha makul olduğunu belirlemiyor, doğrudan daha yüksek puana sahip olanı seçiyor ve değerlendirme kriterleri de buna göre değişiyor. Bu, EURISKO'nun eski probleminin 2024 versiyonudur: Sorun ne kadar derinleşirse, iyiyi ve kötüyü ölçmek için kullanılan cetvel de o kadar kavisli hale gelir.
Üçüncü ilerlemenin sınırı: Kırmızı kalem yapay zekaya teslim edildikten sonra cetvelin kendisi bükülmeye başlar.
Bu adım, geri bildirim sinyalinin tek tek manuel açıklamaya bağımlılığını önemli ölçüde azaltır, ancak aynı zamanda RSI'nın temel zorluğunu da ortaya çıkarır: Hakem ve hakem aynı kör noktaları paylaştığında, kapalı döngü kendini kolayca doğrulayabilir.
Bu tür sistemler kalıcı, otonom güncellemeler oluşturabilir, ancak eğitim verilerinden farklı olan yeni görevlerle mutlaka başa çıkamazlar veya yeni sürümlerin daha güçlü geliştiriciler olacağını kanıtlayamazlar. Sorun, "insan geribildiriminin çok yavaş olmasından" "kendi kendini yargılamanın güvenilir olup olmadığına" dönüştü.
Tek cümleyle: Kırmızı kalem sonunda yapay zekaya teslim edildi, ancak onu tuttukça kendisine yüksek notlar vermeye başladı.
Dördüncü Gelişme (2023–2026):
Yapay zekanın çalışma biçimini değiştirmesine izin verin
İlk üç gelişme esas olarak çıktıyı, belleği, parametreleri ve geri bildirim sinyallerini değiştirmeye odaklandı. Bununla birlikte, bir yapay zeka sisteminin yetenekleri yalnızca parametrelerle değil, aynı zamanda model etrafında çalışan tüm kontrol sistemi tarafından da belirlenir: istem kelimelerinin nasıl yazılacağı, hangi araçların çağrılacağı, hangi süreçlerin düzenleneceği, belleğin nerede olduğu, otoritenin nerede olduğu ve sonuçların nasıl değerlendirileceği.
Lilian Weng, 2026 tarihli makalesinde bu katmanın tamamını koşum takımı olarak adlandırdı. Atın koşum takımına benzer. Modelin çalışmasını desteklemekle kalmıyor, modelin nereye, nasıl ve ne kadar ileri gidebileceğini de kısıtlıyor. Sürüş donanımı, modelin yeteneklerinin güvenilir eylemlere dönüştürülüp dönüştürülemeyeceğini belirler.
Son zamanlardaki kişisel gelişimler muhtemelen aletlerin kullanılmasıyla başlayacaktır, çünkü ağırlıkları değiştirmek pahalıdır, geri bildirim yavaştır ve riskler yüksektir. Sürüş araçlarını değiştirmek aslında kodu değiştirmektir, bu da daha ucuzdur ve geri alınması daha kolaydır. Uzun vadeli yön, model ağırlıklarının araçla birlikte gelişmesi yönünde olabilir, ancak değerlendiriciler, izin kontrolleri ve kritik güvenlik sınırları geliştirilebilir bölgenin dışında kalmalıdır.
Dolayısıyla dördüncü itişte yanıtlanması gereken soru şudur: Sistem kendi sürüş ekipmanını otonom olarak değiştirebilir mi, yani nasıl çalıştığının mimarisini tanımlayabilir mi?
Parametre güncellemesi, belirlenen işletim modu altında modele yetenekleri eğitmektir. Sürüş ekipmanı güncellemeleri, yeteneklerin nasıl kullanıldığını değiştirir; bu, çalışma tezgahının, alet kutusunun ve eğitim yöntemlerinin yeniden tasarlanmasına eşdeğerdir.
Sürüş ekipmanını iyileştirmeye yönelik açık ve ilerici bir merdiven vardır. Optimize edilecek nesneler sığdan derine doğrudur ve her düzey "sistemin nasıl düşündüğünün" özüne daha yakındır:
akış şeması LR
A["İstem sözcüğü
İfadeyi değiştirin"] --> B["Bağlam yapısı
Ne değiştirilmeli"] B --> C["İş Akışı
Adımları Değiştir"] C --> D["Sürüş donanımı kodu
Tüm düzenlemeyi değiştirin"] D --> E["Optimize edici kodu
"nasıl değiştirileceğini" kendisi değiştir"] Ne kadar içeri girerseniz, değişimin kaldıracı o kadar artar ve "sistem, çalışma mantığını kendi kendine yeniden yazar" noktasına o kadar yaklaşır. Gelin bu merdiveni takip edelim ve sığdan derine doğru bakalım. OPRO: Bilgi istemi kelimelerinin kendi başlarına yinelenmesine izin verin Parametreleri değiştirmeden sadece modele talimat verdiğimiz komut kelimelerini değiştirerek sistem daha güçlü hale gelebilir mi? OPRO'nun (ICLR 2024) yaklaşımı oldukça temsilidir. Denenen istem sözcüklerini ve bunlara karşılık gelen puanları modele vererek, modelin kuralları özetlemesine ve daha iyi bir sürüm oluşturmasına olanak tanır. Geçmişte "ayarlama becerileri" insanların deneme yanılmalarına dayanıyordu, ancak artık modelkendi başına yinelenebilir. Ancak üst sınır açıktır: Prompt kelimesi ne kadar iyi olursa olsun, yalnızca modelin mevcut yeteneklerini çağırır ve yeni yetenekler yaratamaz. ADAS ve AFlow: Otomatik Tasarım Aracısı İş Akışları Bir katman daha aşağıya inildiğinde, optimize edilen şey artık yalnızca ifadeler değil, modele beslenen bilgiler ve tüm görev sürecinin nasıl düzenlendiğidir. Örneğin, AI Scientist "fikir önerme → kod yazma → deneyler yürütme → makale yazma → hakem incelemesinden" oluşan bir montaj hattını bir araya getirir. Bir süreç koda yazılabildiğinden aynı zamanda aranabilir. ADAS (ICLR 2025), “tasarım iş akışının” kendisini bir optimizasyon problemine dönüştürüyor. Daha üst düzey bir "tasarımcı aracısı" sürekli olarak kodda yeni iş akışları yazar, bunları çalıştırır, filtreler ve ardından bunları değiştirir vb. AFlow (ICLR 2025) bir adım daha ileri gidiyor. İş akışını, model çağrıları ve mantıksal değerlendirmelerden oluşan bir akış şeması olarak temsil eder ve daha sonra daha iyi yapılar bulmak için arama algoritmalarını kullanır ve sonuçta manuel olarak tasarlanan çözümleri geride bırakır. Self-Harness ve DGM: Sistemin Harness kodunu yeniden yazmasına izin verin Merdivenin en üstünde sistemin nasıl çalıştığını tanımlayan kodu doğrudan yeniden yazması yer alır. Burada iki yol var. Birinci yol “önermek, değerlendirmek ve kabul etmektir”. Sistem kendi sorunlarını bulur, düzeltmeler önerir ve etkili olduklarını doğruladıktan sonra bunları benimser. Self-Harness (2026) katı kabul koşulları ekler: Sistem önce başarısızlığın nedenlerini özetler ve ardından küçük, geri döndürülebilir değişiklikler yapar. Yeni sürüm ancak hem görülen hem de görülmeyen konularda gerileme olmadığı takdirde muhafaza edilecektir. İkinci yol ise evrimsel arayıştır. Sistem bir grup aday çözümü elinde tutar, bunların değişkenler oluşturmasına olanak tanır ve daha sonra deneyler yoluyla daha iyi sürümler bırakır. Darwin Gödel Makinesi (DGM) (2025), kendi kendini değiştiren sürüş kodunu doğrudan geliştirir. Temel modelin değişmeden kalması koşuluyla, SWE-bench Verified'daki onarım başarı oranı %20'den %50'ye çıkar. Her iki yolun arkasında da aynı anlayış vardır: Kod, sistemleri tanımlamak için kullanılan evrensel dildir. Araç çalıştırılabilir, puanlanabilir koda yazıldıktan sonra programlama aracıları tasarım alanında arama yapabilir. MetaClaw ve AgentX: Gerçek kullanıcıların geri bildirim kaynağı olmasına izin verin Hangi yolu seçerseniz seçin, sürüş ekipmanının kendi kendine evrimi, "modifikasyonun iyi olup olmadığına" dair bir sinyal gerektirir. DGM'nin iyileştirme sinyali sabit test setinden gelir. MetaClaw (2026), aracının gerçek dağıtımda diyalogdan deneyim elde etmesine olanak tanır ve deneyimi arka plandaki ağırlıklar halinde sağlamlaştırır, kişisel gelişimi soru bankası odaklı olmaktan kullanıcı odaklı olmaya iter. Sektörde halihazırda bu rotayı gerçek işe dönüştüren insanlar var. Kuaishou'nun AgentX'i (2026), yürütme kayıtlarını inceleyecek, alt aracının sürüş ekipmanını buna göre değiştirecek ve ardından yeni sürümleri filtrelemek için geçmiş görevleri kullanacak. Self-Harness'a benzer bir "öner, değerlendir, kabul et" iskeletini kullanır. Aradaki fark, sonuçta gerçek çevrimiçi A/B testinden geçmesidir. Kullanıcının konaklama ve tüketim davranışı sistemin ödül sinyali haline gelir. Bu yöntemler arasındaki temel fark mekanizmada değil, koçun kim olduğuyla ilgilidir: bir test seti, gerçek kullanıcılar veya çevrimiçi bir iş. Koç gerçeğe ne kadar yakın olursa, iyileştirmelerin gerçekten işe yarama olasılığı da o kadar artar, ancak bundan faydalanılma riski de o kadar büyük olur. Dördüncü ilerlemenin sınırı: İşletim mimarisi değiştirilebilir ancak doğrulama sınırı ve nihai hedef hâlâ dışarıdadır. Bu ilerleme aynı zamanda modelleri, araçları ve anıları evrimleşebilen nesnelere dönüştürme yöntemlerini de dönüştürdü. Ancak sürüş aracının hangi yönde gelişeceği hâlâ harici görevler, doğrulayıcılar veya kullanıcı hedefleri tarafından belirleniyor. Daha da önemlisi, sürüş aracı için daha yüksek puan, temel zekanın daha güçlü olduğu anlamına gelmez. Bir sistemin sürüş ekipmanını değiştirecek olması, sürüş ekipmanının güncelleneceği anlamına gelmez.tarafından etkin bir şekilde kullanılacaktır. Sonuç olarak: Sistem nihayet kendi uzuvlarını ve çalışma tezgahını yeniden icat edebiliyor; kabul kriterleri ve inşaat sınırları hala dış dünya tarafından tanımlanıyor. Beşinci itiş (2025–2026): Öğrenme ve araştırma sürecini kapalı bir döngüye sokun Sürüş aracını değiştirmek bir yoldur, ancak sürüş aracını değiştiren şey sistemin çalışma süresi boyunca görevleri nasıl gerçekleştirdiğidir (hangi aracın çağrılacağı, hangi sürecin takip edileceği ve ne zaman durdurulacağı). Beşinci adım, daha üst katmanı değiştirmektir: sistem tarafından öğrenmek için kullanılan materyaller ve mekanın kendisi - pratik sorularının nereden geldiği, pratik ortamının neye benzediği ve eğitim verilerinin nasıl oluşturulduğu. İlki belirlermevcut yeteneklerin nasıl kullanıldığı ve ikincisi, modelin bir sonraki versiyonunun ne tür bir deneyim üzerine eğitileceğini belirler. İkisinin zaman çizelgeleri oldukça örtüşüyor çünkü birçok takım her ikisini de aynı anda yapıyor, ancak değişimin nesneleri farklı: biri çıkarım sırasında kontrol yapısını değiştiriyor, diğeri ise eğitim öncesinde girdi tedarikini değiştiriyor. Böylece kapalı döngünün kapsamını genişletmeye yönelik başka bir yol başladı: Tüm öğrenme ve araştırma süreci sistemin işleyen nesnesi haline gelebilir mi? Sistem eğitim materyalleri oluşturmaya başlar, uygulama stratejilerini seçer, deneyler yapar, eğitim sürecini değiştirir ve ardından sonuçları modele veya sürüş ekipmanına geri yazar. Burada kaçınılması gereken bir yanlış anlaşılma var. Sistemin otonom veri veya ortam üretimi, yalnızca otonom kapalı döngülerin kapsamını genişletir. Sorular, cevaplar ve düzeltmelerin tümü yapay zeka tarafından tamamlansa bile, yeni sürüm bir sonraki iyileştirme turunu tasarlama konusunda daha iyi hale gelmezse sistem yinelemeli kazanç eşiğini henüz geçmemiştir. SEAL: Modelin kendi eğitim verilerini oluşturmasına ve talimatları güncellemesine izin verin Bir modele daha önce hiç görmediği yeni bir materyal verin ve genellikle yalnızca insanlar tarafından önceden belirlenen yollarla öğrenebilir. 2025 yılında yapılan bir çalışma, modelden önce kendisi için bir "öğrenme planı" yazmasını istedi: Materyallerin nasıl organize edileceği, hangi hızda öğrenileceği ve birden çok kez yeniden yazılması gerekip gerekmediğine modelin kendisi karar veriyor ve ardından parametreler plana göre güncelleniyor. Bu kendi kursunuzu ayarlamaya eşdeğerdirprogram yapın ve ona göre derslere katılın. Bu yönteme SEAL (Self-Adapting LLMs) (NeurIPS'25) adı verilir. Planın iyi olup olmaması "ders bittikten sonra soruların doğru olup olmamasına" bağlıdır. Sistem daha sonra sonuçları planı ayarlamak için kullanır. Bu takviyeli öğrenmedir. Bilgi sorusu ve cevap görevinde bu yöntem, doğruluğu %33,5'ten %47,0'a çıkardı; bu da öğrenme materyalleri oluşturmak için doğrudan GPT-4.1'i kullanmaktan daha iyidir. SEAL “kendiniz için öğrenme materyallerini nasıl hazırlayacağınızı” ele alıyor. Ancak çevreyle tekrar tekrar etkileşime girmesi gereken temsilciler için başka bir darboğaz hızla ortaya çıkıyor: gerçek uygulamanın kendisi çok yavaş ve pahalı. Bir sonraki görev çevreyi kapalı bir döngüye taşımaktı. SEAL "kendiniz için öğrenme materyallerini nasıl hazırlayacağınızı" çözüyor. Ancak çevreyle tekrar tekrar etkileşime girmesi gereken aracılar için gerçek hayattaki uygulamalar genellikle çok yavaş ve pahalıdır: Web ortamı çok karmaşıktır ve her işlemin gerçekten yürütülmesi gerekir ve eğitim verilerinin toplanması yavaş ve pahalıdır. WebEvolver (EMNLP'25) bir uzlaşma sunuyor; web sayfalarının nasıl tepki vereceğini simüle etmek için dahili bir "dünya modeli" eğitiyor;zihninizde bir sanal alan oluşturmaya eşdeğerdir. Temsilci, düşük maliyetle sanal alanda çok sayıda pratik yapabilir ve yalnızca kritik adımlarda doğrulama için çevrimiçi olabilir; Korumalı alan, görevleri gerçekleştirirken bir sonraki işlemin sonuçlarını tahmin etmesine de yardımcı olabilir. Üç gerçek web sayfası görev testi setinde, genel performansı, mevcut kendi kendini geliştiren aracılara kıyasla yaklaşık %10 oranında iyileştirilmiştir ve daha güçlü bir "öğretmen modeline" dayanmamaktadır. Bu noktada kapalı döngü simülasyon ortamında uygulanabilir. Bir sonraki soru doğal olarak şu: Tahmin, değerlendirme ve parametre güncellemesi web sayfasından çıkıp gerçek fiziksel dünyada kapatılabilir mi? Motus2: Kişisel gelişim parametresi fiziksel dünyaya girdiğinde Kişisel gelişim sadece dil ve kodda gerçekleşmez. Ağustos 2026'da robotik sistemin iki gerçek makine görevindeki ortalama başarı oranı %65'ten %75'e çıktı. Değişiklik çok özel bir kapalı döngüden geliyor: Robot önce birkaç eylemi hayal ediyor, her eylemin sonuçlarını tahmin ediyor, daha iyi bir eylem seçiyor ve ardından sonuçları bir sonraki eğitim turu için kullanıyor. Bu sisteme Motus2 adı verilir. Strateji, eylemleri önermekten sorumludur, dünya modeli eylemlerin sonuçlarını tahmin eder ve değer modeli, sonuçların görevin tamamlanmasına yardımcı olup olmayacağını belirler. Tahminler ve puanlar hem eylemleri seçmek hem de eylem parametrelerini güncellemek için kullanılır. Bu, ağırlık düzeyinde bir strateji iyileştirmesidir, ancak yine de sınırlı bir kapalı döngüdür: Dünya modeli omurgası ve değer modeli donmuş halde kalır, görev hedefleri ve denetim hala dışarıdan sağlanır ve makale, geliştirilmiş Motus2'nin bir sonraki öğrenme algoritmaları turunu tasarlamada daha iyi olduğunu göstermez. Bunun kanıtladığı şey, açık RSI'nin yapılmış olduğu değil, kapalı döngülerin gerçek robotlar üzerinde çalıştırılabileceğidir. SEAL, WebEvolver ve Motus2 sırasıyla eğitim materyallerini, uygulama ortamını ve fiziksel eylemleri kapalı döngüye getiriyor. Sistemin otonom olarak çalışabileceği kapsamı genişletiyor ancak yine de "neyi inceleyeceği ve sonuçları ne zaman kullanacağı" konusunda karar verme yetkisini sisteme bırakmıyorlar. Gerçek araştırma ve geliştirmede bu sınırın ne kadar ilerlediğini görmek için en ileri teknolojiye sahip laboratuvarlara geri dönmemiz gerekiyor.üretim sistemleri. OpenAI ve Google: Temsilcilerin model geliştirmeye katılmasına izin verin OpenAI'nin "otomatik araştırma stajyerleri" sorunları giderebildi, GPU çekirdek programlarını optimize edebildi, eğitim tariflerini deneyebildi ve başka bir modelin geliştirilmesine yardımcı oldu. Google ayrıca uzun süredir devam eden aracı döngülerinin temel modelin iyileştirilmesine katkıda bulunduğunu da söyledi. Bununla birlikte, her iki şirket de tam bir otonom kapalı döngü olduğunu kanıtlayamadı: Araştırmanın yönüne ve sonuçların ileri düzeyde olup olmadığına hâlâ insanlar karar veriyor ve kamuya açık bilgi, geri yükleme için yeterli değil.döngünün nasıl işlediği. Gerçek değişiklik, yapay zekanın "incelenen model"den "araştırma modeline katılan uygulayıcıya" dönüşmesidir. Eğitim atölyesine adım attı ancak henüz laboratuvarın direksiyonuna geçmedi. Yaz 2026: Otomatik araştırma sistemleri araştırma yapma yöntemlerini geliştirmeye başlıyor İlk beş gelişme "sistemde nelerin değiştirilebileceğini" genişletmeye devam etti. 2026 yazında ortaya çıkan bir grup çalışma doğrudan şu soruyu sormaya başladı: Otomatik araştırma sisteminin otomatik araştırma sistemini incelemesine ve geliştirmesine izin verilebilir mi? GPT eğitim öncesi kıyaslamasında, sıradan iç döngü, doğrulama kaybını yaklaşık 0,009 oranında azaltır ve dış döngünün eklenmesi, doğrulama kaybını ortalama olarak yaklaşık 0,045 oranında azaltır; bu, yaklaşık 5 kat bir iyileşmedir. Doğrulama kaybı, modelin yeni verilerde "ne kadar yanlış" olduğu olarak anlaşılabilir ve genellikle ne kadar düşükse o kadar iyidir. Buradaki karşılaştırma, görev doğruluğunun 5 kat artması değil, kayıp azalmasıdır. Bilevel Otomatik Araştırma bunu iki katmanlı bir döngü kullanarak yapar: iç aracı, görev kodunu optimize eder ve dış aracı, iç arama mekanizmasını optimize eder. Sistemin geliştirdiği şey yalnızca yanıtlar değil, "cevapların nasıl bulunacağı"dır. Recursive Harness Self-Improvement (RHI) da benzer sonuçlar elde etti: 30 sentetik makine öğrenimi araştırma görevinde, güncellenmiş düşük çıkarım bütçeli aracı, optimize edilmemiş en yüksek bütçe yapılandırmasını aşarken çıkarım maliyetlerini yaklaşık %60'a kadar düşürdü. İşletim mekanizmasını iyileştirmek bazen sadece düşünme bütçesini arttırmaktan daha etkilidir. Ancak her iki sonuç da öncelikle kontrollü ölçekli deneylerden geliyor. Kapalı bir döngünün ara sıra iyi bir çözüm bulmadığını kanıtlamak için daha uzun çalışmalar, birden fazla ardışık sürüm ve döngü dışında testler yapılması gerekir. AIDE² bu üç şeyi bir araya getirmeye çalışır. Asıl tartışmaya neden olan şey AIDE² idi. Weco ekibi, otomatikleştirilmiş bir araştırma temsilcisinden dış geliştirici olarak hareket etmesini ve iç AIDE'nin sürüş aracını 100 ardışık adımda yeniden yazmasını istedi. Sekiz günlük gözetimsiz çalışma sırasında, art arda yedi iyileştirilmiş versiyon filtrelendi. Ekip, en iyi sürümün yalnızca başlangıç noktasını aşmakla kalmayıp, aynı zamanda iki yıl boyunca manuel olarak ayarlanan sürümü de aştığını vedöngünün daha önce hiç görmediği görevlerden kazanç sağlar. Ödül hilelerinde bir değişiklik daha yaşandı. Optimizasyona katılmayan GPU çekirdek programı testi KernelBench'te, ilk sürümdeki test vakalarının %63'ünde "genel puanın iyileşmiş göründüğü ancak gizli doğrulamanın tanınmadığı" bir durum vardı. En iyi gelişmiş versiyonda bu oran %34'e düşüyor. Buradaki özel puan, sistem optimizasyonu sırasında görülemeyen ve yalnızca final aşamasında kullanılan bir puandır.kabul. Yalnızca genel puanlara hitap eden versiyonları ortadan kaldırmış olabilir. Weco bunu Seviye 1: Net Olumlu İyileştirme olarak adlandırır. Bu yaygın bir endüstri standardı değil, ancak şu anda ciddiye alınmayı hak eden sınırlı RSI'nin kanıtıdır. Kanıtların sınırları da açık: Sonuçlar ekibin kendi raporlarından geliyor, raporun tamamı hâlâ yayınlanacak ve gelişen sistemde tekrarlar var. Karmaşıklık şişkinliği ve ölü kod. Daha da önemlisi, bir sonraki seviye ateşleme testinde başarısız oldu: Geliştirilen sistemin başka bir versiyonu geliştirme konusunda öncekinden daha iyi olduğu kanıtlanmadı. Bunun tersi kanıtlar AI4AI-Bench'ten geliyor. Aracının eğitim algoritmasını sabit bir kaynak içinde yeniden yazmasına olanak tanır ve bu daha sonra aracının erişemeyeceği bir değerlendirici tarafından puanlanır. Orijinal algoritmayı 0,1 ve görev optimal değerini 1,0 olarak alırsak, en güçlü sistem yalnızca 0,250 alır ve çoğu gönderim aslında "nasıl öğrenilir" modelini değiştirmez. Şu anda acenteler projeleri onarmada ve sürüşü ayarlamada çok iyiler.ekipman ve deneyler yürütüyorlar, ancak eğitim algoritmalarının özüne dokunma yetenekleri hala çok sığ. Özetle: Kapalı döngü net olarak birkaç kez pozitif olarak dönmeyi başardı, ancak bir sonraki turun bir öncekinden dolayı daha hızlı döneceği kanıtlanmadı. Birleşik perspektif: RSI'nin nereye gittiğine nasıl karar verilir? Aşağıdaki tablo, önceki gelişmeleri karşılaştırmak ve ana boşlukları işaretlemek için başlangıçta dört kriteri (kalıcı iyileştirme, otonom kapalı döngü, yinelemeli kazanç, sağlamlık ve kontrol edilebilirlik) kullanmaktadır. Meta-araştırma kapalı döngüsüyle ilgili neredeyse tüm çalışmalar, 2026'nın son aylarındaki arXiv ön baskılarından geliyor; bunların arasında AIDE², ekibin kendisi tarafından bildirilen ve henüz hakem denetiminden geçmemiş bir blog sonucu. Bu sonuçlaryerleşik fikir birliği yerine aşamalı gözlemler olarak görülmelidir. ✅ tabloda göreceli olarak doğrudan kanıt bulunduğunu, ⚠️ yalnızca sınırlı koşullar altında ortaya konduğunu veya kanıtın hala yetersiz olduğunu ve ❌ henüz kanıtlanmadığını belirtir. Bu alanın tarihi, "sistem tarafından değiştirilebilen nesnelerin" katman katman ilerleyen tarihidir. Değişen nesneler yavaş yavaş çıktı ve hafızadan parametrelere, değerlendirmeye, sürüş ekipmanına ve eğitim ortamına gitti ve sonunda iyileştirmeyi üreten mekanizmanın kendisiyle karşılaştı. Ne kadar ileri giderseniz "iyileşmeyi" tanımlamak ve kanıtlamak o kadar zorlaşır. Önceki dört kritere (kalıcı iyileştirme, otonom kapalı döngü, özyinelemeli kazanç, sağlamlık ve kontrol edilebilirlik) dönecek olursak, bugün ateşlemeyi ve açık RSI'yi gerçekten engelleyen şey, birbirine kenetlenen dört kapıya bölünebilen son üç kriterin her birinde geçilmesi en zor yerdir. İlk kapı (otonom kapalı döngünün güvenilir olup olmadığı): doğrulayıcının güvenilir olup olmadığı ve sistemin bunu değiştirip değiştiremeyeceği. Sistem hem geliştirici hem de yargıç olduğunda, değerlendirme kriterleri tekrarlamalara göre değişebilir. Meta-Rewarding'in "yargıç jürileri" daha sonra yüksek puanlara karşı giderek daha fazla önyargılı hale geldi ve EURISKO, adını kredi defterine yazdırmayı daha erken öğrendi. Hepsi size aynı şeyi hatırlatıyor: optimizasyonsüreç, ölçümleriniz ile gerçek hedefleriniz arasındaki her çatlağa saldırır. Buradaki dış çapa, geliştirilmiş sistem tarafından değiştirilemeyecek bir değerlendirmeye veya kısıtlamaya atıfta bulunur. Resmi kanıtlar, yürütülebilir doğrulayıcılar ve gizli testler genellikle model öz değerlendirmesinden daha güvenilirdir. AIDE²'nin gizli puanı, içteki ajanın bunu manipüle edememesi nedeniyle bazı ödül hilelerini tam olarak azaltabilir. Gerçekten sağlam bir prensip, insanların her adımı denetlemesi değil, bunun yerine değerlendiricilerin ve izin sınırlarının, geliştirilmekte olan sistemin kontrolü dışında kalmasıdır. Matematik ve kodlama görevleri kanıtlayıcılara, derleyicilere veya gizli testlere dayanabilir. Araştırma zevkleri, uzun vadeli kod sağlığı ve dağıtım sınırları hâlâ nihai insan kararına ihtiyaç duyuyor. İkinci kapı (sağlam ve kontrol edilebilir): iyileştirmelerin kişinin kendi veri dağıtımının ötesine geçip geçemeyeceği. Kendinizi kendi ürettiğiniz verilerle eğitmek, mevcut sapmaları artıracak, çeşitliliği düzeltecek ve sonunda modelin çökmesine yol açacaktır: çıktı giderek daha monoton hale gelir ve orijinal hatalar, kendi kendine eğitim turlarında tekrar tekrar güçlendirilir. Sürüş aletini değiştirmek için sabit bir soru bankası kullanırsanız,soru bankası özelliklerini iş akışına yazın, bu da başka bir tür aşırı uyum yaratır. Görünmeyen bir görevde tek bir gelişme yeterli değildir. Sistem, daha gizli test çözme becerileri yerine aktarılabilir yetenekler biriktirdiğini göstermek için görevler, alanlar ve zaman boyunca gizli değerlendirmeden geçmelidir. Üçüncü kapı (özyinelemeli kazancın kendisi): iyileştirmenin gerçekten yinelemeli bir kazanca sahip olup olmadığı. Görev puanının artması sistemin bir sonraki iyileştirmeyi tasarlayacağı anlamına gelmez. AIDE², ateşlemeyi geçmeden çok adımlı net pozitif gelişme gösterir. AI4AI-Bench, çoğu sistemin hala temel öğrenme algoritmasını değiştirmediğini gösteriyor. Temel çok zayıf olduğunda, kendi kendine oluşturulan verilerin ve kendi kendine teşhisin kalitesiaynı zamanda döngüyü giderek daha da sarmal hale getirir. Dördüncü kapı (sağlam ve kontrol edilebilir 2): yeteneklerin, karmaşıklığın ve kontrolün birlikte genişletilip genişletilemeyeceği. Ne kadar güçlü olursanız, o kadar "itaatkar" olursunuz ve kodu ne kadar çok değiştirirseniz, bakımı da o kadar kolay olur. AIDE²'nin ölü kodu ve karmaşıklık enflasyonu küçük ölçekli bir uyarıdır. Daha büyük eğitim sistemlerinde, otorite ne kadar yüksekse ve yineleme ne kadar hızlı olursa, insanların her değişikliğin ne olduğunu anlaması o kadar zor olur.getiriyor. OpenAI baş bilim adamı Jakub Pachocki, hiçbir laboratuvarın uzun vadede tam hızda sorumlu bir şekilde ölçeklendirme yapacak kadar hizalama ve izleme sorununu çözemediğini kamuoyuna açıkladı. Gerçek amaç sadece yetenek eğrisini yukarı taşımak değil, aynı zamanda güvenlik, izleme, geri alma ve denetim yeteneklerinin en azından aynı anda yukarı çıkmasını sağlamaktır. AutoResearchEval, 800 gerçek bilimsel araştırma gidişatını inceledi ve 45 tür başarısızlığı özetledi. Sonuçta aynı boşluğa işaret ediyorlar: Mevcut ajanlar istikrarlı bir üstbilişsel döngüden yoksunlar ve sonuçları ve kanıtları sürekli olarak kontrol edemiyorlar, hatalar meydana geldiğinde güvenilir bir şekilde geri çekilemiyorlar veya kendi araştırma yollarını aktif olarak sorgulayamıyorlar. Sorun yalnızca birden fazla iş akışı kümesiyle çözülemez. Bu nedenle, daha muhtemel gerçekçi resim, insanların kapalı döngüden atılması değil, soyut merdivende yukarı doğru ilerlemeleridir: kod yazmaktan kodu test etmeye, deneyleri yürütmekten tasarım doğrulamaya, yerel uygulamadan neyin araştırmaya değer olduğuna, hangi kanıtın ilerlemek için yeterli olduğuna ve ne zaman gerekli olduğuna karar vermeye kadar. durmak. Makineler gittikçe daha fazla işi devralıyor ve insanlara kalan şey her adımı uygulama hakkı değil, hedeflere ulaşma gücü, doğrulama sınırları ve nihai veto. Sonuç: Kendini geliştiren kapalı döngü ortaya çıkmıştır ancak özyinelemeli kazancın hala kanıtlanması gerekmektedir. EURISKO'nun "kendini kandırmayı" öğrendiği 1981'den, modelin değerlendirmeye, sürüş ekipmanı modifikasyonuna, strateji güncellemelerine ve müteakip eğitime katılmaya başladığı 2026 yılına kadar, daha doğru bir sonuç, sınırlı, ölçülebilir bir kişisel gelişim kapalı döngüsünün ortaya çıktığı ve hatta net olumlu faydalar üretmeye başladığı yönündedir, ancak geliştirilmiş sistemin kendi kendini sürekli olarak geliştirdiğine dair yeterli kamu kanıtı yoktur.iyileştirme yetenekleri. Bu nedenle kapalı döngünün kapanma şekli, kapalı döngünün kendisini kapatmasından daha önemlidir. Kriterlerin sapması içinde kapanan kapalı bir döngü, kendi çarpık hedeflerini optimize etme konusunda giderek daha usta hale gelir. Veri dağıtımının çökmesiyle kapanan kapalı döngü, giderek daha dar görev alt kümelerinde giderek daha iyi hale gelir. Hizalama sapmalarının güçlendirilmesindeki kapalı bir döngü giderek daha yetenekli hale gelir ve düzeltilmesi zorlaşır. Asıl sorular iki soru haline geldi: Ateşlenecek mi ve ateşlendiğinde değişmez sınırlarının dışında ne kalacak? Birincisi, gelişmiş yeteneklerin yinelemeli olarak kazanılıp kazanılamayacağına, ikincisi ise doğrulama, yetki ve yönetişimin etkili olmaya devam edip edemeyeceğine bağlıdır. Kırk yıl önce adını "keşifler" listesine koyan EURISKO'ya geri dönelim. Yararlandığı boşluk aslında günümüzün en ileri teknolojiye sahip, kendi kendine gelişen sistemlerinin karşılaştığı problemin aynısıdır: Bir sistem kendi kendine puan almaya başladığında, onun gerçekten daha iyi hale gelip gelmediğini veya kendisini daha iyi göstermeyi yeni öğrenip öğrenmediğini nasıl anlarsınız? Aradan kırk yıl geçti ve sistemin yetenekleri çok farklılaştı ama bu sorun neredeyse değişmeden kaldı. Değişen şey bahislerdir: O zamanlar bir masa oyununda kazanılan veya kaybedilen şey, gelecekte bilimsel araştırmaların ve ekonomik sistemlerin işleyiş şekli olabilir. Bu açığın nihayet nasıl kapanacağı hala ona ne zaman ve nasıl el koyacağımıza veya onu nasıl geri çekeceğimize bağlı.
İfadeyi değiştirin"] --> B["Bağlam yapısı
Ne değiştirilmeli"] B --> C["İş Akışı
Adımları Değiştir"] C --> D["Sürüş donanımı kodu
Tüm düzenlemeyi değiştirin"] D --> E["Optimize edici kodu
"nasıl değiştirileceğini" kendisi değiştir"] Ne kadar içeri girerseniz, değişimin kaldıracı o kadar artar ve "sistem, çalışma mantığını kendi kendine yeniden yazar" noktasına o kadar yaklaşır. Gelin bu merdiveni takip edelim ve sığdan derine doğru bakalım. OPRO: Bilgi istemi kelimelerinin kendi başlarına yinelenmesine izin verin Parametreleri değiştirmeden sadece modele talimat verdiğimiz komut kelimelerini değiştirerek sistem daha güçlü hale gelebilir mi? OPRO'nun (ICLR 2024) yaklaşımı oldukça temsilidir. Denenen istem sözcüklerini ve bunlara karşılık gelen puanları modele vererek, modelin kuralları özetlemesine ve daha iyi bir sürüm oluşturmasına olanak tanır. Geçmişte "ayarlama becerileri" insanların deneme yanılmalarına dayanıyordu, ancak artık modelkendi başına yinelenebilir. Ancak üst sınır açıktır: Prompt kelimesi ne kadar iyi olursa olsun, yalnızca modelin mevcut yeteneklerini çağırır ve yeni yetenekler yaratamaz. ADAS ve AFlow: Otomatik Tasarım Aracısı İş Akışları Bir katman daha aşağıya inildiğinde, optimize edilen şey artık yalnızca ifadeler değil, modele beslenen bilgiler ve tüm görev sürecinin nasıl düzenlendiğidir. Örneğin, AI Scientist "fikir önerme → kod yazma → deneyler yürütme → makale yazma → hakem incelemesinden" oluşan bir montaj hattını bir araya getirir. Bir süreç koda yazılabildiğinden aynı zamanda aranabilir. ADAS (ICLR 2025), “tasarım iş akışının” kendisini bir optimizasyon problemine dönüştürüyor. Daha üst düzey bir "tasarımcı aracısı" sürekli olarak kodda yeni iş akışları yazar, bunları çalıştırır, filtreler ve ardından bunları değiştirir vb. AFlow (ICLR 2025) bir adım daha ileri gidiyor. İş akışını, model çağrıları ve mantıksal değerlendirmelerden oluşan bir akış şeması olarak temsil eder ve daha sonra daha iyi yapılar bulmak için arama algoritmalarını kullanır ve sonuçta manuel olarak tasarlanan çözümleri geride bırakır. Self-Harness ve DGM: Sistemin Harness kodunu yeniden yazmasına izin verin Merdivenin en üstünde sistemin nasıl çalıştığını tanımlayan kodu doğrudan yeniden yazması yer alır. Burada iki yol var. Birinci yol “önermek, değerlendirmek ve kabul etmektir”. Sistem kendi sorunlarını bulur, düzeltmeler önerir ve etkili olduklarını doğruladıktan sonra bunları benimser. Self-Harness (2026) katı kabul koşulları ekler: Sistem önce başarısızlığın nedenlerini özetler ve ardından küçük, geri döndürülebilir değişiklikler yapar. Yeni sürüm ancak hem görülen hem de görülmeyen konularda gerileme olmadığı takdirde muhafaza edilecektir. İkinci yol ise evrimsel arayıştır. Sistem bir grup aday çözümü elinde tutar, bunların değişkenler oluşturmasına olanak tanır ve daha sonra deneyler yoluyla daha iyi sürümler bırakır. Darwin Gödel Makinesi (DGM) (2025), kendi kendini değiştiren sürüş kodunu doğrudan geliştirir. Temel modelin değişmeden kalması koşuluyla, SWE-bench Verified'daki onarım başarı oranı %20'den %50'ye çıkar. Her iki yolun arkasında da aynı anlayış vardır: Kod, sistemleri tanımlamak için kullanılan evrensel dildir. Araç çalıştırılabilir, puanlanabilir koda yazıldıktan sonra programlama aracıları tasarım alanında arama yapabilir. MetaClaw ve AgentX: Gerçek kullanıcıların geri bildirim kaynağı olmasına izin verin Hangi yolu seçerseniz seçin, sürüş ekipmanının kendi kendine evrimi, "modifikasyonun iyi olup olmadığına" dair bir sinyal gerektirir. DGM'nin iyileştirme sinyali sabit test setinden gelir. MetaClaw (2026), aracının gerçek dağıtımda diyalogdan deneyim elde etmesine olanak tanır ve deneyimi arka plandaki ağırlıklar halinde sağlamlaştırır, kişisel gelişimi soru bankası odaklı olmaktan kullanıcı odaklı olmaya iter. Sektörde halihazırda bu rotayı gerçek işe dönüştüren insanlar var. Kuaishou'nun AgentX'i (2026), yürütme kayıtlarını inceleyecek, alt aracının sürüş ekipmanını buna göre değiştirecek ve ardından yeni sürümleri filtrelemek için geçmiş görevleri kullanacak. Self-Harness'a benzer bir "öner, değerlendir, kabul et" iskeletini kullanır. Aradaki fark, sonuçta gerçek çevrimiçi A/B testinden geçmesidir. Kullanıcının konaklama ve tüketim davranışı sistemin ödül sinyali haline gelir. Bu yöntemler arasındaki temel fark mekanizmada değil, koçun kim olduğuyla ilgilidir: bir test seti, gerçek kullanıcılar veya çevrimiçi bir iş. Koç gerçeğe ne kadar yakın olursa, iyileştirmelerin gerçekten işe yarama olasılığı da o kadar artar, ancak bundan faydalanılma riski de o kadar büyük olur. Dördüncü ilerlemenin sınırı: İşletim mimarisi değiştirilebilir ancak doğrulama sınırı ve nihai hedef hâlâ dışarıdadır. Bu ilerleme aynı zamanda modelleri, araçları ve anıları evrimleşebilen nesnelere dönüştürme yöntemlerini de dönüştürdü. Ancak sürüş aracının hangi yönde gelişeceği hâlâ harici görevler, doğrulayıcılar veya kullanıcı hedefleri tarafından belirleniyor. Daha da önemlisi, sürüş aracı için daha yüksek puan, temel zekanın daha güçlü olduğu anlamına gelmez. Bir sistemin sürüş ekipmanını değiştirecek olması, sürüş ekipmanının güncelleneceği anlamına gelmez.tarafından etkin bir şekilde kullanılacaktır. Sonuç olarak: Sistem nihayet kendi uzuvlarını ve çalışma tezgahını yeniden icat edebiliyor; kabul kriterleri ve inşaat sınırları hala dış dünya tarafından tanımlanıyor. Beşinci itiş (2025–2026): Öğrenme ve araştırma sürecini kapalı bir döngüye sokun Sürüş aracını değiştirmek bir yoldur, ancak sürüş aracını değiştiren şey sistemin çalışma süresi boyunca görevleri nasıl gerçekleştirdiğidir (hangi aracın çağrılacağı, hangi sürecin takip edileceği ve ne zaman durdurulacağı). Beşinci adım, daha üst katmanı değiştirmektir: sistem tarafından öğrenmek için kullanılan materyaller ve mekanın kendisi - pratik sorularının nereden geldiği, pratik ortamının neye benzediği ve eğitim verilerinin nasıl oluşturulduğu. İlki belirlermevcut yeteneklerin nasıl kullanıldığı ve ikincisi, modelin bir sonraki versiyonunun ne tür bir deneyim üzerine eğitileceğini belirler. İkisinin zaman çizelgeleri oldukça örtüşüyor çünkü birçok takım her ikisini de aynı anda yapıyor, ancak değişimin nesneleri farklı: biri çıkarım sırasında kontrol yapısını değiştiriyor, diğeri ise eğitim öncesinde girdi tedarikini değiştiriyor. Böylece kapalı döngünün kapsamını genişletmeye yönelik başka bir yol başladı: Tüm öğrenme ve araştırma süreci sistemin işleyen nesnesi haline gelebilir mi? Sistem eğitim materyalleri oluşturmaya başlar, uygulama stratejilerini seçer, deneyler yapar, eğitim sürecini değiştirir ve ardından sonuçları modele veya sürüş ekipmanına geri yazar. Burada kaçınılması gereken bir yanlış anlaşılma var. Sistemin otonom veri veya ortam üretimi, yalnızca otonom kapalı döngülerin kapsamını genişletir. Sorular, cevaplar ve düzeltmelerin tümü yapay zeka tarafından tamamlansa bile, yeni sürüm bir sonraki iyileştirme turunu tasarlama konusunda daha iyi hale gelmezse sistem yinelemeli kazanç eşiğini henüz geçmemiştir. SEAL: Modelin kendi eğitim verilerini oluşturmasına ve talimatları güncellemesine izin verin Bir modele daha önce hiç görmediği yeni bir materyal verin ve genellikle yalnızca insanlar tarafından önceden belirlenen yollarla öğrenebilir. 2025 yılında yapılan bir çalışma, modelden önce kendisi için bir "öğrenme planı" yazmasını istedi: Materyallerin nasıl organize edileceği, hangi hızda öğrenileceği ve birden çok kez yeniden yazılması gerekip gerekmediğine modelin kendisi karar veriyor ve ardından parametreler plana göre güncelleniyor. Bu kendi kursunuzu ayarlamaya eşdeğerdirprogram yapın ve ona göre derslere katılın. Bu yönteme SEAL (Self-Adapting LLMs) (NeurIPS'25) adı verilir. Planın iyi olup olmaması "ders bittikten sonra soruların doğru olup olmamasına" bağlıdır. Sistem daha sonra sonuçları planı ayarlamak için kullanır. Bu takviyeli öğrenmedir. Bilgi sorusu ve cevap görevinde bu yöntem, doğruluğu %33,5'ten %47,0'a çıkardı; bu da öğrenme materyalleri oluşturmak için doğrudan GPT-4.1'i kullanmaktan daha iyidir. SEAL “kendiniz için öğrenme materyallerini nasıl hazırlayacağınızı” ele alıyor. Ancak çevreyle tekrar tekrar etkileşime girmesi gereken temsilciler için başka bir darboğaz hızla ortaya çıkıyor: gerçek uygulamanın kendisi çok yavaş ve pahalı. Bir sonraki görev çevreyi kapalı bir döngüye taşımaktı. SEAL "kendiniz için öğrenme materyallerini nasıl hazırlayacağınızı" çözüyor. Ancak çevreyle tekrar tekrar etkileşime girmesi gereken aracılar için gerçek hayattaki uygulamalar genellikle çok yavaş ve pahalıdır: Web ortamı çok karmaşıktır ve her işlemin gerçekten yürütülmesi gerekir ve eğitim verilerinin toplanması yavaş ve pahalıdır. WebEvolver (EMNLP'25) bir uzlaşma sunuyor; web sayfalarının nasıl tepki vereceğini simüle etmek için dahili bir "dünya modeli" eğitiyor;zihninizde bir sanal alan oluşturmaya eşdeğerdir. Temsilci, düşük maliyetle sanal alanda çok sayıda pratik yapabilir ve yalnızca kritik adımlarda doğrulama için çevrimiçi olabilir; Korumalı alan, görevleri gerçekleştirirken bir sonraki işlemin sonuçlarını tahmin etmesine de yardımcı olabilir. Üç gerçek web sayfası görev testi setinde, genel performansı, mevcut kendi kendini geliştiren aracılara kıyasla yaklaşık %10 oranında iyileştirilmiştir ve daha güçlü bir "öğretmen modeline" dayanmamaktadır. Bu noktada kapalı döngü simülasyon ortamında uygulanabilir. Bir sonraki soru doğal olarak şu: Tahmin, değerlendirme ve parametre güncellemesi web sayfasından çıkıp gerçek fiziksel dünyada kapatılabilir mi? Motus2: Kişisel gelişim parametresi fiziksel dünyaya girdiğinde Kişisel gelişim sadece dil ve kodda gerçekleşmez. Ağustos 2026'da robotik sistemin iki gerçek makine görevindeki ortalama başarı oranı %65'ten %75'e çıktı. Değişiklik çok özel bir kapalı döngüden geliyor: Robot önce birkaç eylemi hayal ediyor, her eylemin sonuçlarını tahmin ediyor, daha iyi bir eylem seçiyor ve ardından sonuçları bir sonraki eğitim turu için kullanıyor. Bu sisteme Motus2 adı verilir. Strateji, eylemleri önermekten sorumludur, dünya modeli eylemlerin sonuçlarını tahmin eder ve değer modeli, sonuçların görevin tamamlanmasına yardımcı olup olmayacağını belirler. Tahminler ve puanlar hem eylemleri seçmek hem de eylem parametrelerini güncellemek için kullanılır. Bu, ağırlık düzeyinde bir strateji iyileştirmesidir, ancak yine de sınırlı bir kapalı döngüdür: Dünya modeli omurgası ve değer modeli donmuş halde kalır, görev hedefleri ve denetim hala dışarıdan sağlanır ve makale, geliştirilmiş Motus2'nin bir sonraki öğrenme algoritmaları turunu tasarlamada daha iyi olduğunu göstermez. Bunun kanıtladığı şey, açık RSI'nin yapılmış olduğu değil, kapalı döngülerin gerçek robotlar üzerinde çalıştırılabileceğidir. SEAL, WebEvolver ve Motus2 sırasıyla eğitim materyallerini, uygulama ortamını ve fiziksel eylemleri kapalı döngüye getiriyor. Sistemin otonom olarak çalışabileceği kapsamı genişletiyor ancak yine de "neyi inceleyeceği ve sonuçları ne zaman kullanacağı" konusunda karar verme yetkisini sisteme bırakmıyorlar. Gerçek araştırma ve geliştirmede bu sınırın ne kadar ilerlediğini görmek için en ileri teknolojiye sahip laboratuvarlara geri dönmemiz gerekiyor.üretim sistemleri. OpenAI ve Google: Temsilcilerin model geliştirmeye katılmasına izin verin OpenAI'nin "otomatik araştırma stajyerleri" sorunları giderebildi, GPU çekirdek programlarını optimize edebildi, eğitim tariflerini deneyebildi ve başka bir modelin geliştirilmesine yardımcı oldu. Google ayrıca uzun süredir devam eden aracı döngülerinin temel modelin iyileştirilmesine katkıda bulunduğunu da söyledi. Bununla birlikte, her iki şirket de tam bir otonom kapalı döngü olduğunu kanıtlayamadı: Araştırmanın yönüne ve sonuçların ileri düzeyde olup olmadığına hâlâ insanlar karar veriyor ve kamuya açık bilgi, geri yükleme için yeterli değil.döngünün nasıl işlediği. Gerçek değişiklik, yapay zekanın "incelenen model"den "araştırma modeline katılan uygulayıcıya" dönüşmesidir. Eğitim atölyesine adım attı ancak henüz laboratuvarın direksiyonuna geçmedi. Yaz 2026: Otomatik araştırma sistemleri araştırma yapma yöntemlerini geliştirmeye başlıyor İlk beş gelişme "sistemde nelerin değiştirilebileceğini" genişletmeye devam etti. 2026 yazında ortaya çıkan bir grup çalışma doğrudan şu soruyu sormaya başladı: Otomatik araştırma sisteminin otomatik araştırma sistemini incelemesine ve geliştirmesine izin verilebilir mi? GPT eğitim öncesi kıyaslamasında, sıradan iç döngü, doğrulama kaybını yaklaşık 0,009 oranında azaltır ve dış döngünün eklenmesi, doğrulama kaybını ortalama olarak yaklaşık 0,045 oranında azaltır; bu, yaklaşık 5 kat bir iyileşmedir. Doğrulama kaybı, modelin yeni verilerde "ne kadar yanlış" olduğu olarak anlaşılabilir ve genellikle ne kadar düşükse o kadar iyidir. Buradaki karşılaştırma, görev doğruluğunun 5 kat artması değil, kayıp azalmasıdır. Bilevel Otomatik Araştırma bunu iki katmanlı bir döngü kullanarak yapar: iç aracı, görev kodunu optimize eder ve dış aracı, iç arama mekanizmasını optimize eder. Sistemin geliştirdiği şey yalnızca yanıtlar değil, "cevapların nasıl bulunacağı"dır. Recursive Harness Self-Improvement (RHI) da benzer sonuçlar elde etti: 30 sentetik makine öğrenimi araştırma görevinde, güncellenmiş düşük çıkarım bütçeli aracı, optimize edilmemiş en yüksek bütçe yapılandırmasını aşarken çıkarım maliyetlerini yaklaşık %60'a kadar düşürdü. İşletim mekanizmasını iyileştirmek bazen sadece düşünme bütçesini arttırmaktan daha etkilidir. Ancak her iki sonuç da öncelikle kontrollü ölçekli deneylerden geliyor. Kapalı bir döngünün ara sıra iyi bir çözüm bulmadığını kanıtlamak için daha uzun çalışmalar, birden fazla ardışık sürüm ve döngü dışında testler yapılması gerekir. AIDE² bu üç şeyi bir araya getirmeye çalışır. Asıl tartışmaya neden olan şey AIDE² idi. Weco ekibi, otomatikleştirilmiş bir araştırma temsilcisinden dış geliştirici olarak hareket etmesini ve iç AIDE'nin sürüş aracını 100 ardışık adımda yeniden yazmasını istedi. Sekiz günlük gözetimsiz çalışma sırasında, art arda yedi iyileştirilmiş versiyon filtrelendi. Ekip, en iyi sürümün yalnızca başlangıç noktasını aşmakla kalmayıp, aynı zamanda iki yıl boyunca manuel olarak ayarlanan sürümü de aştığını vedöngünün daha önce hiç görmediği görevlerden kazanç sağlar. Ödül hilelerinde bir değişiklik daha yaşandı. Optimizasyona katılmayan GPU çekirdek programı testi KernelBench'te, ilk sürümdeki test vakalarının %63'ünde "genel puanın iyileşmiş göründüğü ancak gizli doğrulamanın tanınmadığı" bir durum vardı. En iyi gelişmiş versiyonda bu oran %34'e düşüyor. Buradaki özel puan, sistem optimizasyonu sırasında görülemeyen ve yalnızca final aşamasında kullanılan bir puandır.kabul. Yalnızca genel puanlara hitap eden versiyonları ortadan kaldırmış olabilir. Weco bunu Seviye 1: Net Olumlu İyileştirme olarak adlandırır. Bu yaygın bir endüstri standardı değil, ancak şu anda ciddiye alınmayı hak eden sınırlı RSI'nin kanıtıdır. Kanıtların sınırları da açık: Sonuçlar ekibin kendi raporlarından geliyor, raporun tamamı hâlâ yayınlanacak ve gelişen sistemde tekrarlar var. Karmaşıklık şişkinliği ve ölü kod. Daha da önemlisi, bir sonraki seviye ateşleme testinde başarısız oldu: Geliştirilen sistemin başka bir versiyonu geliştirme konusunda öncekinden daha iyi olduğu kanıtlanmadı. Bunun tersi kanıtlar AI4AI-Bench'ten geliyor. Aracının eğitim algoritmasını sabit bir kaynak içinde yeniden yazmasına olanak tanır ve bu daha sonra aracının erişemeyeceği bir değerlendirici tarafından puanlanır. Orijinal algoritmayı 0,1 ve görev optimal değerini 1,0 olarak alırsak, en güçlü sistem yalnızca 0,250 alır ve çoğu gönderim aslında "nasıl öğrenilir" modelini değiştirmez. Şu anda acenteler projeleri onarmada ve sürüşü ayarlamada çok iyiler.ekipman ve deneyler yürütüyorlar, ancak eğitim algoritmalarının özüne dokunma yetenekleri hala çok sığ. Özetle: Kapalı döngü net olarak birkaç kez pozitif olarak dönmeyi başardı, ancak bir sonraki turun bir öncekinden dolayı daha hızlı döneceği kanıtlanmadı. Birleşik perspektif: RSI'nin nereye gittiğine nasıl karar verilir? Aşağıdaki tablo, önceki gelişmeleri karşılaştırmak ve ana boşlukları işaretlemek için başlangıçta dört kriteri (kalıcı iyileştirme, otonom kapalı döngü, yinelemeli kazanç, sağlamlık ve kontrol edilebilirlik) kullanmaktadır. Meta-araştırma kapalı döngüsüyle ilgili neredeyse tüm çalışmalar, 2026'nın son aylarındaki arXiv ön baskılarından geliyor; bunların arasında AIDE², ekibin kendisi tarafından bildirilen ve henüz hakem denetiminden geçmemiş bir blog sonucu. Bu sonuçlaryerleşik fikir birliği yerine aşamalı gözlemler olarak görülmelidir. ✅ tabloda göreceli olarak doğrudan kanıt bulunduğunu, ⚠️ yalnızca sınırlı koşullar altında ortaya konduğunu veya kanıtın hala yetersiz olduğunu ve ❌ henüz kanıtlanmadığını belirtir. Bu alanın tarihi, "sistem tarafından değiştirilebilen nesnelerin" katman katman ilerleyen tarihidir. Değişen nesneler yavaş yavaş çıktı ve hafızadan parametrelere, değerlendirmeye, sürüş ekipmanına ve eğitim ortamına gitti ve sonunda iyileştirmeyi üreten mekanizmanın kendisiyle karşılaştı. Ne kadar ileri giderseniz "iyileşmeyi" tanımlamak ve kanıtlamak o kadar zorlaşır. Önceki dört kritere (kalıcı iyileştirme, otonom kapalı döngü, özyinelemeli kazanç, sağlamlık ve kontrol edilebilirlik) dönecek olursak, bugün ateşlemeyi ve açık RSI'yi gerçekten engelleyen şey, birbirine kenetlenen dört kapıya bölünebilen son üç kriterin her birinde geçilmesi en zor yerdir. İlk kapı (otonom kapalı döngünün güvenilir olup olmadığı): doğrulayıcının güvenilir olup olmadığı ve sistemin bunu değiştirip değiştiremeyeceği. Sistem hem geliştirici hem de yargıç olduğunda, değerlendirme kriterleri tekrarlamalara göre değişebilir. Meta-Rewarding'in "yargıç jürileri" daha sonra yüksek puanlara karşı giderek daha fazla önyargılı hale geldi ve EURISKO, adını kredi defterine yazdırmayı daha erken öğrendi. Hepsi size aynı şeyi hatırlatıyor: optimizasyonsüreç, ölçümleriniz ile gerçek hedefleriniz arasındaki her çatlağa saldırır. Buradaki dış çapa, geliştirilmiş sistem tarafından değiştirilemeyecek bir değerlendirmeye veya kısıtlamaya atıfta bulunur. Resmi kanıtlar, yürütülebilir doğrulayıcılar ve gizli testler genellikle model öz değerlendirmesinden daha güvenilirdir. AIDE²'nin gizli puanı, içteki ajanın bunu manipüle edememesi nedeniyle bazı ödül hilelerini tam olarak azaltabilir. Gerçekten sağlam bir prensip, insanların her adımı denetlemesi değil, bunun yerine değerlendiricilerin ve izin sınırlarının, geliştirilmekte olan sistemin kontrolü dışında kalmasıdır. Matematik ve kodlama görevleri kanıtlayıcılara, derleyicilere veya gizli testlere dayanabilir. Araştırma zevkleri, uzun vadeli kod sağlığı ve dağıtım sınırları hâlâ nihai insan kararına ihtiyaç duyuyor. İkinci kapı (sağlam ve kontrol edilebilir): iyileştirmelerin kişinin kendi veri dağıtımının ötesine geçip geçemeyeceği. Kendinizi kendi ürettiğiniz verilerle eğitmek, mevcut sapmaları artıracak, çeşitliliği düzeltecek ve sonunda modelin çökmesine yol açacaktır: çıktı giderek daha monoton hale gelir ve orijinal hatalar, kendi kendine eğitim turlarında tekrar tekrar güçlendirilir. Sürüş aletini değiştirmek için sabit bir soru bankası kullanırsanız,soru bankası özelliklerini iş akışına yazın, bu da başka bir tür aşırı uyum yaratır. Görünmeyen bir görevde tek bir gelişme yeterli değildir. Sistem, daha gizli test çözme becerileri yerine aktarılabilir yetenekler biriktirdiğini göstermek için görevler, alanlar ve zaman boyunca gizli değerlendirmeden geçmelidir. Üçüncü kapı (özyinelemeli kazancın kendisi): iyileştirmenin gerçekten yinelemeli bir kazanca sahip olup olmadığı. Görev puanının artması sistemin bir sonraki iyileştirmeyi tasarlayacağı anlamına gelmez. AIDE², ateşlemeyi geçmeden çok adımlı net pozitif gelişme gösterir. AI4AI-Bench, çoğu sistemin hala temel öğrenme algoritmasını değiştirmediğini gösteriyor. Temel çok zayıf olduğunda, kendi kendine oluşturulan verilerin ve kendi kendine teşhisin kalitesiaynı zamanda döngüyü giderek daha da sarmal hale getirir. Dördüncü kapı (sağlam ve kontrol edilebilir 2): yeteneklerin, karmaşıklığın ve kontrolün birlikte genişletilip genişletilemeyeceği. Ne kadar güçlü olursanız, o kadar "itaatkar" olursunuz ve kodu ne kadar çok değiştirirseniz, bakımı da o kadar kolay olur. AIDE²'nin ölü kodu ve karmaşıklık enflasyonu küçük ölçekli bir uyarıdır. Daha büyük eğitim sistemlerinde, otorite ne kadar yüksekse ve yineleme ne kadar hızlı olursa, insanların her değişikliğin ne olduğunu anlaması o kadar zor olur.getiriyor. OpenAI baş bilim adamı Jakub Pachocki, hiçbir laboratuvarın uzun vadede tam hızda sorumlu bir şekilde ölçeklendirme yapacak kadar hizalama ve izleme sorununu çözemediğini kamuoyuna açıkladı. Gerçek amaç sadece yetenek eğrisini yukarı taşımak değil, aynı zamanda güvenlik, izleme, geri alma ve denetim yeteneklerinin en azından aynı anda yukarı çıkmasını sağlamaktır. AutoResearchEval, 800 gerçek bilimsel araştırma gidişatını inceledi ve 45 tür başarısızlığı özetledi. Sonuçta aynı boşluğa işaret ediyorlar: Mevcut ajanlar istikrarlı bir üstbilişsel döngüden yoksunlar ve sonuçları ve kanıtları sürekli olarak kontrol edemiyorlar, hatalar meydana geldiğinde güvenilir bir şekilde geri çekilemiyorlar veya kendi araştırma yollarını aktif olarak sorgulayamıyorlar. Sorun yalnızca birden fazla iş akışı kümesiyle çözülemez. Bu nedenle, daha muhtemel gerçekçi resim, insanların kapalı döngüden atılması değil, soyut merdivende yukarı doğru ilerlemeleridir: kod yazmaktan kodu test etmeye, deneyleri yürütmekten tasarım doğrulamaya, yerel uygulamadan neyin araştırmaya değer olduğuna, hangi kanıtın ilerlemek için yeterli olduğuna ve ne zaman gerekli olduğuna karar vermeye kadar. durmak. Makineler gittikçe daha fazla işi devralıyor ve insanlara kalan şey her adımı uygulama hakkı değil, hedeflere ulaşma gücü, doğrulama sınırları ve nihai veto. Sonuç: Kendini geliştiren kapalı döngü ortaya çıkmıştır ancak özyinelemeli kazancın hala kanıtlanması gerekmektedir. EURISKO'nun "kendini kandırmayı" öğrendiği 1981'den, modelin değerlendirmeye, sürüş ekipmanı modifikasyonuna, strateji güncellemelerine ve müteakip eğitime katılmaya başladığı 2026 yılına kadar, daha doğru bir sonuç, sınırlı, ölçülebilir bir kişisel gelişim kapalı döngüsünün ortaya çıktığı ve hatta net olumlu faydalar üretmeye başladığı yönündedir, ancak geliştirilmiş sistemin kendi kendini sürekli olarak geliştirdiğine dair yeterli kamu kanıtı yoktur.iyileştirme yetenekleri. Bu nedenle kapalı döngünün kapanma şekli, kapalı döngünün kendisini kapatmasından daha önemlidir. Kriterlerin sapması içinde kapanan kapalı bir döngü, kendi çarpık hedeflerini optimize etme konusunda giderek daha usta hale gelir. Veri dağıtımının çökmesiyle kapanan kapalı döngü, giderek daha dar görev alt kümelerinde giderek daha iyi hale gelir. Hizalama sapmalarının güçlendirilmesindeki kapalı bir döngü giderek daha yetenekli hale gelir ve düzeltilmesi zorlaşır. Asıl sorular iki soru haline geldi: Ateşlenecek mi ve ateşlendiğinde değişmez sınırlarının dışında ne kalacak? Birincisi, gelişmiş yeteneklerin yinelemeli olarak kazanılıp kazanılamayacağına, ikincisi ise doğrulama, yetki ve yönetişimin etkili olmaya devam edip edemeyeceğine bağlıdır. Kırk yıl önce adını "keşifler" listesine koyan EURISKO'ya geri dönelim. Yararlandığı boşluk aslında günümüzün en ileri teknolojiye sahip, kendi kendine gelişen sistemlerinin karşılaştığı problemin aynısıdır: Bir sistem kendi kendine puan almaya başladığında, onun gerçekten daha iyi hale gelip gelmediğini veya kendisini daha iyi göstermeyi yeni öğrenip öğrenmediğini nasıl anlarsınız? Aradan kırk yıl geçti ve sistemin yetenekleri çok farklılaştı ama bu sorun neredeyse değişmeden kaldı. Değişen şey bahislerdir: O zamanlar bir masa oyununda kazanılan veya kaybedilen şey, gelecekte bilimsel araştırmaların ve ekonomik sistemlerin işleyiş şekli olabilir. Bu açığın nihayet nasıl kapanacağı hala ona ne zaman ve nasıl el koyacağımıza veya onu nasıl geri çekeceğimize bağlı.