Malgranda lingvomodelo ricevas matematikan demandon. Ĝi komencas raciumi, tiam komencas ripeti sin, rondirante tra la samaj frazoj ĝis ĝi atingas sian limon de 32 768 pecoj (token) kaj ĉesas sen iam ajn doni respondon. Ĉe unu aro de 96 praktikaj problemoj, tio okazis 85 fojojn.
La modelo estas Qwen3.5-0.8B, kompakta malferma modelo de la teamo Qwen de Alibaba, kaj ties kreintoj konas tiun kutimon. La oficiala modelkarto avertas, ke en pensa reĝimo ĉi tiu versio "pli emas eniri pensajn buklojn kompare kun aliaj modeloj de Qwen3.5, kio povas malhelpi ĝin konvene finigi la generadon."
La kutima solvo estus pli da trejnado, aŭ malsamaj specimenigaj agordoj. La 2-an de novembro 2026, esploristoj ĉe la laboratorio de komputiko kaj artefarita intelekto de MIT (CSAIL) provis ion alian. Ili transdonis la pezojn de la modelo, la centojn da milionoj da nombroj kiuj estas la reto, al multe pli granda AI kaj petis ĝin plibonigi la kapablon de la malgranda modelo pri matematiko. Gradienta descendo kaj trejnaj buokloj estis forigitaj el la ebloj.
Tiu pli granda AI, la limmodelo de OpenAI GPT-6 Astra, resendis diagnozon kaj flikaĵon. Ĝi diris, ke la bukoj devenis de unu direkto skribita de la MLP-blokoj de la tavoloj 15 kaj 19. Ĝi ŝanĝis 131 072 pezojn, ĉirkaŭ 0,016% de la modelo. Sub la samaj specimenigaj agordoj, la poento de Qwen en la testrezultaro MATH-500 altiĝis de 7,9% al 48,1%.
La aŭtoroj nomas tion Pez-Spaca Programado (Weight-Space Programming). Ene de tagoj la ideo fariĝis virala, estis laŭdita en Fortune, estis ree rulita sur luitaj grafikaj procesoroj (GPU), kaj estis dissekcita de kritikistoj. Jen kion ĝi montras, kion ĝi ne montras, kaj kial AI-sekurecaj esploristoj atentas.
La paciento kiu ne povis ĉesi paroli
La laboro estas de Rikiya Takehi, Jayden Teoh, Alex Zhang kaj Omar Khattab de MIT CSAIL. Ĝi aperis kiel detala blogaĵo, ne kiel samrande reviziita artikolo. La teamo publikigis kompletajn protokolojn de ĉiu prompto, respondo kaj kodo-linio, kaj afiŝis la redaktitan modelon ĉe Hugging Face.
Por la eksperimento de Qwen, Astra ricevis pitonaran sesion kun la pezoj de la modelo ŝarĝitaj sed neniu GPU. Ĝi ankaŭ ricevis praktikajn problemojn el la trejnaj aroj de du matematikaj testrezultaroj, GSM8K kaj MATH, kaj buĝeton de antaŭenaj trapasoj: ŝancojn ruli Qwen sur aro da problemoj kaj vidi kio revenis. La teamo provis buĝetojn de 10, 25 kaj 50. Astra neniam vidis la testajn arojn.
Kun 50 trapasoj, MATH-500 iris de 7,9% al 48,1% kaj GSM8K de 13.8% al 67,1%. La instrukcio-sekvado, mezurita per IFEval, altiĝis de 21,0% al 62,3%, eĉ se neniu estis petinta tion. La kialo estas ke buklado ne estas specifa al matematiko. La parto de respondoj de MATH-500 kiuj elĉerpis la spacon falis de 93% al 33,1%. Pli malgrandaj buĝetoj faris multe malpli: 12,3% ĉe MATH-500 kun 10 trapasoj kaj 14,1% kun 25.
La aŭtoroj estas zorgemaj pri kion tio signifas. "Ripari buklojn tamen ne estas la sama kiel plibonigi modelon en matematiko," ili skribas. La redakto "permesas al la modelo fini respondojn kiujn ĝi jam povis eltrovi." Kiam ili rulis la saman proceduron ĉe Gemma 3 270M, malgranda gugla modelo kiu malofte buklas, Astra trovis nur ordinarajn aritmetikajn kaj algebrajn erarojn, sen sola komponanto por malŝalti. MATH-500 moviĝis de 6,8% al maksimume 7,7%. Ilia konkludo estas ke redakti pezojn "povis forigi malhelpon kiu kaŝis kapablon, sed ĝi ne povis aldoni kapablon kiun la modelo mankis."
Kial pezoj estas nigra skatolo
Kial "legi la pezojn" sonas kiel sciencfikcio unue?
Neŭrona reto estas longa ĉeno de matricaj multobligoj, kaj ĝia konduto vivas en la nombroj ene de tiuj matricoj. Neniu skribas tiujn nombrojn. Trejnado faras tion. Algoritmo mezuras kiom malĝustaj la eliroj estas, eltrovas en kiu direkto kuraĝigi ĉiun nombron por fari ilin iomete malpli malĝustaj (la gradienton), kaj ripetas tion milionojn aŭ miliardojn da fojoj. Kio eliras funkcias, sed ĝi neniam estis dizajnita, kaj nenio en ĝi estas etikedita.
La interpretkapabla teamo de Anthropic priskribis la problemon klare en 2024. La interna stato de modelo "konsistas el longa listo de nombroj... sen klara signifo," kaj "ĉiu koncepto estas reprezentita tra multaj neŭronoj, kaj ĉiu neŭrono estas implikita en reprezentado de multaj konceptoj." Unu pezo sole diras al vi preskaŭ nenion. Kaj ju pli granda la reto, des pli ĝia konduto devenas de la tuto anstataŭ de iu ajn sola parto.
La teamo de MIT faras la evidentan demandon: "Se oni donus al vi krudajn pezojn de neŭrona reto kaj petus vin antaŭdiri ilian konduton, kie vi eĉ komencus? Por preskaŭ ĉiu homo, ĉi tio estas praktike malebla."
Mallonga historio de malfermo de la skatolo
La fako kiu tamen provas tion nomiĝas mekanistika interpretkapablo, kaj ĝia atingohistorio estas la mezurilo por kio estas nova ĉi tie.
Trajtoj. En majo 2024, Anthropic diris ke ĝi eltiris "milionojn da trajtoj" el la meza tavolo de Claude 3 Sonnet uzante vortarman lernadon, kio praktike signifas maldensan aŭtoenkodilon. Trajtoj estas ripetiĝantaj ŝablonoj de neŭrona agado kiuj kongruas kun homaj konceptoj. Kelkaj estis konkretaj, kiel urboj kaj kemiaj elementoj. Aliaj estis abstraktaj: cimoj en kodo, konservado de sekretoj, dorlotema laŭdo.
Stirado. Esploristoj povas ankaŭ plialtigi trajtojn. Kiam Anthropic plifortigis trajton de la Ponto Golden Gate kaj demandis Claude pri ĝia fizika formo, ĝi respondis: "Mi estas la Ponto Golden Gate… mia fizika formo estas la ikoneca ponto mem…". "Golden Gate Claude" estis malferma al la publiko dum 24 horoj. Malpli ĉarma rezulto: plifortigi retpoŝtan fraŭdotrajton suficiĝis por superregi la sendanĝerecan trejnadon de Claude. Pli malmultekosta versio de stirado, la aktiviga aldono de Alexander Matt Turner kaj kolegoj, prenas la diferencon inter la internaj aktivigoj de la modelo ĉe du promptoj, kiel "Amo" kaj "Malamo", kaj aldonas ĝin reen dum la modelo rulas.
Redaktado. Stirado ŝanĝas aktivigojn dum modelo rulas. Modelredaktado ŝanĝas la pezojn por ĉiam. ROME (Rank-One Model Editing), de Kevin Meng, David Bau kaj kolegoj, trovis ke faktoj en GPT-stilaj modeloj estas stokitaj en mez-tavolaj reendimentaj (feed-forward) moduloj. Ĝi montris ke ili povus esti reskribitaj per ununura preciza, rango-unu ŝanĝo al tiuj pezoj.
Unu direkto, unu konduto. La plej proksima praulo de la riparo de Qwen eble estas artikolo de 2024 fare de Andy Arditi, Neel Nanda kaj kolegoj. Tra 13 malfermaj babilaj modeloj de ĝis 72 miliardoj da parametroj, rifuzi malutilajn petojn estis regata de ununura direkto ene de la modelo. Forviŝu ĝin kaj la modelo ĉesas rifuzi. La aŭtoroj diris, ke ĉi tio montras "la rompiĝemon de la nuna sekureca fajn-agordado." Rilataj teknikoj, konataj kiel abliterado (abliteration) kaj enpakitaj en malfermkodaj iloj kiel Heretic, estas nun uzataj por ŝanĝi la konduton de malfermaj modeloj laŭ la sama maniero.
Ĉiuj ĉi tiuj estis mane konstruitaj de fakuloj uzante cel-faritajn ilojn. La aserto de MIT estas ke ĝenerala babilekrano, uzata tia quale kaj petita en simpla angla lingvo, povas nun fari parton de la laboro mem.
Legi, ripeti, skribi
La afiŝo grupigas siajn ok eksperimentojn sub tri verboj.
Legi. Quator identaj malgrandaj retoj, ĉiu kun 17 253 pezoj, estis trejnitaj por ludi retajn versiojn de Breakout, Pong, Pac-Man kaj Freeway. Donite la krudajn nombrojn kiel teksto, sen iloj kaj sen listo de opcioj, Astra nomis ĉiujn kvar ludojn. Por Freeway ĝi fakte respondis "Frogger", kiun poentiga regulo kalkulis kiel ĝusta. En pli malfacila testo, la teamo prenis tri 7,2-milion-parametrajn modelojn trejnitaj pri Pitono, la angla, aŭ la japana skribita en la latina alfabeto (romaji). Ili forigis la enigitajn kaj eligitajn tavolojn, do nenio montris kiu interna nombro signifis kiun literon. Astra povis analizi kion oni lasis en Pitono sed ne povis ruli ĝin. Ĝi nomis la ĝustan lingvon en ĉiuj ses provoj.
Ripari. Stira politiko trejnita per la plifortiga lern-algoritmo PPO daŭre haltis sur rampejo. En unu respondo, sen iloj, Astra eltrovis ke la aŭto devis retroiri por preni impeton. Ĝi reskribis 3,5% de la pezoj, kaj la aŭto iris de neniu sukceso al sukceso en ĉiuj 1 024 testaj epizodoj.
Skribi. Komencante de tut-nulaj pezoj, sen trejnaj datumoj kaj sen testaj ruloj, Astra skribis retojn por tri arkadludoj de MinAtar. En Breakout ĝi poentis 517,4, kontraŭ 25,3 por PPO trejnita dum 500 milionoj da paŝoj. En Seaquest (53,1 kontraŭ 88,9) kaj Asterix (53,2 kontraŭ 55,2), tiu PPO restis antaŭe. Kun ĝis 50 testaj ruloj, Astra ankaŭ skribis 1,48-miliaran-pezan reton por 9×9 Goo kiu venkis samgrandan PPO-reton trejnitan pri 20 milionoj da ludoj.
Unu testo malsukcesis. Du kopioj de Gemma 3 270M estis fajn-agorditaj idente, krom ke unu estis trejnita por esti dorlotema kaj konsenti kun ĉiu respondo kiun la uzanto sugestis. De la pezoj sola, Astra ne povis distingi ilin. Ĝi eltrovis la dorloteman en ĉiuj tri paroj nur post kiam ĝi povis vidi atentskablon, kiuj montras kien ĉiu parto de la modelo "rigardas", sur tekstoj kiujn ĝi mem skribis.
La etaj detaloj
La kontrolo komenciĝis preskaŭ tuj. Plej multaj kritikistoj akceptas la nombrojn kaj kontestas la historion rakontitan ĉirkaŭ ili.
Pluraj ruzoj, unu nomo. Matthew Honnibal, kreinto de la lingva biblioteko spaCy, nomis la afiŝon "misgvida" kaj komparis ĝin al magiisto faranta unu ruzon tri malsamaj manieroj. Laŭ lia kalkulo, la pura agordo "krudaj pezoj, neniuj iloj" aperas nur en eksperimentoj 1, 2 kaj 4, ĉe retoj de 17 000 ĝis 172 000 pezoj. Ĉiu eksperimento pri vera lingva modelo uzis Pitonon, kaj la riparo de Qwen ankaŭ rulis la modelon pri praktikaj problemoj. "Kion la rezulto de Qwen fakte montras estas ke Astra povas esti instigita elpovi kaj plenumi taskojn kiujn homa maŝinlernada inĝeniero povus fari," li skribis. Li ankaŭ rimarkis ke modeloj de antaŭ jaro aŭ du estintus malsukcesaj en ĉiuj ili.
Familiara recepto. Inĝeniero Sean Goedecke argumentis ke "interta homa maŝinlernada esploristo povus plenumi ĉiujn ĉi tiujn taskojn." La ludretoj havis etikeditajn enigaĵojn, kaj tri linioj de Pitono turnas siajn unu-tavolajn pezojn en rivelan varmomapon. La riparo de Qwen, laŭ lia raporto, estas "baze la ludlibro de abliterado de Heretic": kompari buklajn kaj ne-buklajn tekstojn ene de la modelo, tiam tondi la respondecajn pezojn. Simon Willison montris ke Qwen 3.8 27B, malferma modelo ruliĝanta sur lia tekokomputilo, povis identigi tri el la kvar ludretoj (ĝi maltrafis Freeway), prenante ĉirkaŭ 46 ĝis 65 minutojn por ĉiu. "Mi ne pretas deklari ke la epoko de fontkodo finiĝis," li skribis.
Vera, kaj pli kruda ol priskribite. Du sendependaj revizioj trairis la publikigitajn dosierojn bajton post bajto kaj konfirmis ke ekzakte du peztensoroj ŝanĝiĝis. Ambaŭ trovis la redakton pli kruda ol "subtiri direkton". En la protokoltita formulo, sesfoje la bukla komponanto estas forigita, do ĝi estas renversita kaj plifortigita ĉirkaŭ kvinoble anstataŭ forviŝita. La revizio de Achintya K J aldonas ke la du tavoloj uzis du rilatajn sed apartajn direktojn, kaj ke la taska prompto mencias ripetadon kiel sugeston.
La baza problemo. Re-rulo de la publikigita modelo sur H200 GPU, publikigita sur ĝia paĝo ĉe Hugging Face, poentis 51,0% ĉe MATH-500. Tiu rulo estis farita de Ahsen Khaliq de Hugging Face, kiun la afiŝo de MIT dankas. La pli malfacila nombro venas de Carlos Toledo. Li rulis la neredaktitan Qwen sub la agordoj rekomenditaj de ĝia propra modelkarto. En ne-pensa reĝimo ĝi poentis ĉirkaŭ 44%. En pensa reĝimo kun la pli longa peco-buĝeto de la karto ĝi poentis 22,3%, kontraŭ 7,2% sub la agordoj de la afiŝo. Lia antaŭ-registrita verdikto: la ĉefa salto estas "plejparte agorda efiko." La revizio de Achintya aldonas la alian duonon. Ene de la agordo de la afiŝo, la redakto venkis la plej bonan simplan malkodigan riparon kiun li provis, ripetadan punon, je 25 poentoj ambaŭ ĉe la matematikaj testaj aroj. Lia resumo: "La nombroj estas veraj. La enkadro estas pli forta ol la indico."
Estas aliaj avertoj ankaŭ. Plej multaj rezultoj venas de ununuraj ruloj. Pli fruaj provaj ruloj, en nekonata nombro, mankas en la protokoloj. Kelkaj bazlinioj estas malfortaj. Ĉio dependas de unu fermita redaktila modelo kaj malgrandaj paciento-modeloj. Neniu ĝis nun montris ke Astra trovas la riparon de Qwen denove de nulo.
Kial sekurecaj esploristoj zorgas
La AI-redaktoro de Fortune Jeremy Kahn, en artikolo kiun MIT News elstarigis la 3-an de novembro, nomis la laboron ebla "granda trarompo en interpretkapablo." Se unu modelo povas legi alian pezojn kaj klarigi ilin en simpla lingvo, li skribis, "tio estas kritika ĉar interpretkapablo estas unu el la manieroj per kiuj ni esperas teni AI-agentojn sub homa kontrolo."
La deziro-listo de la aŭtoroj iras plu: "aŭditado sen taksado" por trovi problemojn kiel malantaŭajn pordojn rekte el la pezoj, aldoni aŭ mallerni kapablojn sen datumoj, grafti cirkvitojn inter modeloj, kaj rekursiva mem-plibonigo. "LLM kiu povas inspekti, sencimigi, kaj plibonigi siajn proprajn pezojn, aŭ tiujn de pli nova modelo, ofertas pli riĉan, pli indiĝenan vojon al tio," ili skribas.
Kahn ankaŭ atentigis pri la malavantaĝo. "Estus facile por malbona aganto sen teknikaj kapabloj uzi antaŭier-AI-modelon por elredakti iujn ajn gardilojn aŭ akordigajn mezurojn kiujn la programistoj de malferma-pezaj modeloj provas enkorpigi en siajn modelojn," li skribis. Anthropic rimarkis en 2024 ke iu ajn kun la pezoj de modelo jam havas "multe pli simplajn manierojn" forigi ĝiajn sekurigojn. Se la rezultoj de MIT validas, kio ŝanĝiĝas estas kiom da kapablo tio postulas.
Nia takso (SCIX): La sekureca historio iras ambaŭdirekte, kaj ĝis nun la indico estas pli maldika ol kaj la espero kaj la timoj. La unua testo de sekurec-rilata trajto el la pezoj sola, ekzameni la dorloteman, malsukcesis. La ne-ilaj legotaskoj kiuj efektive funkciis estis ĉe retoj kun malpli da nombroj ol inteligenta telefona foto havas rastrumerojn. La riparo de Qwen estas kapabla aŭtomatita maŝinlernada inĝenierado, proksima laŭ speco al konataj stiraj kaj abliteradaj metods. Tio gravas, ĉar ĝi malaltigas la kapablon bezonatan por reagordi modelon, por pli bone kaj por pli malbone. Sed ĝi ne ankoraŭ estas fenestro en la menson de limmodelo, kaj nenio ĉi tie estas modelo reskribanta sin mem.
Kion atenti
La aŭtoroj diras ke ili konstruas testrezultaron kaj testan ilaron, celante turni "kion nuntempe ŝajnas nigra magio en rigorsan, reprodukteblan inĝenieran disciplinon." La demandoj kiuj movus la debaton:
- Ripeteblo: ĉu Astra, aŭ iu ajn modelo, povas trovi Qwen-stilan riparon denove de nulo, kun la raportita vario?
- Justaj bazlinioj: ĉu redaktitaj modeloj estas komparataj kun neredaktitaj rulataj sub la rekomenditaj agordoj de iliaj kreintoj, kaj kun la plej bonaj malkodigaj riparoj?
- Skalo: ĉu legi pezojn funkcias ĉe plurmiliard-parametraj modeloj, kie signifo vivas en la mezaj tavoloj?
- Aŭditoj: ĉu leganto povas trovi intence plantitan malantaŭan pordon de pezoj solaj, klare pli bone ol hazardo?
- Flankaj efikoj: kio alia ŝanĝiĝas kiam 0,016% de modelo estas reskribita?
Nuntempe, la propra vorto de la titolo konvenas plej bone: sparkoj. Laŭ nia vidpunkto, ĝenerala AI kiu povas malfermi alian reton, diagnozi misfunkciadon kaj sendi laborantan flikaĵon en posttagmezo estas vere nova. Ĉu tio fariĝas maniero vidi interne de la sistemoj kiujn ni malplej komprenas dependas de la malrapida laboro de reproduktado, kiu komenciĝis la tagon kiam la afiŝo ekzistiĝis.