- Mehhanistlik tõlgendatavus uurib kaalusid, aktivatsioone ja sisemisi vooluringe, et selgitada, kuidas närvivõrgud ja LLM-id oma arvutusi teevad.
- Mudelid korraldavad tähendusi kõrgmõõtmelistesse kontseptuaalsetesse ruumidesse, kus mõisted on esitatud lineaarsete suundadena vektorites.
- Sellised tööriistad nagu tunnuste "mikroskoobid" ja hõredad autoenkoodrid võimaldavad teil mudelite sisemisi tunnuseid eraldada, analüüsida ja isegi manipuleerida.
- Rakendused, näiteks georuumilise tõlgendatavuse analüüs, näitavad, kuidas õigusteaduse magistrandid geograafilist teavet struktureerivad, tuues tehisintellekti lähemale aruteludele kognitiivse ja turvalisuse üle.
Mehaaniline tõlgendatavus on muutumas tänapäeva tehisintellekti üheks põnevamaks ja olulisemaks uurimissuunaks.See on eriti oluline, kuna sügavad närvivõrgud ja laiaulatuslikud keelemudelid (LLM-id) hakkavad mõjutama otsuseid praktiliselt igas valdkonnas. Selle lähenemisviisi puhul ei küsita ainult mudeli lõplikku toimivust, vaid küsitakse: mis täpselt toimub sees, kaalude ja aktiveerimiste juures, kui tehisintellekt teeb ennustuse, kirjutab teksti või lahendab keerulise probleemi?
Mõiste "must kast" pole kunagi olnud asjakohasem kui praegu.Sajad miljonid inimesed kasutavad iga päev vestlusroboteid, kuid isegi meeskonnad, kes neid süsteeme arendavad, ei mõista täielikult, kuidas nad teatud vastusteni jõuavad, miks nad fakte "hallutsineerivad" või millistes olukordades nad võivad petlikult käituda. Mehhanistlik tõlgendatavus tekib just selleks, et avada see must kast, kaardistada selle sisemised mehhanismid ning ühendada neuronid, ressursid ja vooluringid meile arusaadavate mõistetega.
Mis täpselt on mehhanistlik tõlgendatavus?
Mehhanistlik tõlgendatavus on tehisintellekti mudelite sisemise struktuuri süstemaatiline uurimine, keskendudes kaaludele, aktiveerimistele ja vahepealsetele "arvutustele".et mõista, kuidas nad oma ülesandeid täidavad. Selle asemel, et käsitleda närvivõrku läbipaistmatu plokina, mis teisendab sisendi väljundiks, püüab see ala mudeli lagundada väiksemateks komponentideks – neuroniteks, tähelepanupeadeks, kihtideks, lineaarseteks tunnusteks – ja siduda iga osa vaadeldava käitumisega.
Keskne eesmärk ei ole pelgalt üksiku otsuse "hilisem selgitamine", vaid mudeli sisemise arvutusprotsessi detailse kaardi loomine.See hõlmab selle tuvastamist, millised neuronid või neuronite kombinatsioonid esindavad teatud mustreid (näiteks pärisnimed, koodistruktuurid, emotsionaalsed toonid, pahatahtlikud juhised), kuidas neid esitusi kihtide vahel kombineeritakse ja kuidas see kõik annab konkreetse väljundi.
See vaatenurk on teadusringkondades kiiresti populaarsust kogunud.Tänu spetsiaalsetele töötubadele (näiteks esimene suurem mehhanistliku tõlgendatavuse töötuba suurtel masinõppe konverentsidel), kümnetele sellele teemale keskendunud idufirmadele ja üha suurenevale hulgale analüütilistele tööriistadele ületab spetsialiseeritud töötubadele esitatud tööde maht kergesti saja väljaande kohta, mis näitab, et see on lakanud olemast nišš ja sellest on saanud täielikult laienev konsolideeritud valdkond.
Suur väljakutse on vähendada lõhet mudelite muljetavaldava jõudluse ja meie arusaama vahel neist.Niikaua kui me käsitleme LLM-e ja närvivõrke statistiliste müsteeriumidena, on palju raskem ennustada servakäitumist, tuvastada keerulisi haavatavusi, avastada manipuleerimist ja neid süsteeme kriitilistes stsenaariumides usaldusväärselt rakendada.
Kontseptuaalsed ruumid ja lineaarse esituse hüpotees
Üks võimsamaid teadmisi mehhanistliku tõlgendatavuse mõistmiseks on idee, et närvivõrgud konstrueerivad kõrgmõõtmelisi „kontseptuaalseid ruume”.Selle asemel, et mõelda tähendustest kui sõnaraamatu definitsioonidest, võime neid näha punktidena tohutus vektorruumis, mis on võrgustikus implitsiitselt olemas ja moodustub kihtide kaalude ja aktivatsioonide poolt.
See ruum ei ole füüsiline; see on kõrvalmõju sellest, kuidas võrk signaale töötleb.Iga sisend (tekstilised mõisted, näiteks sõna, piksel, heli, kohanimi, koodilõik) kaardistatakse mitmemõõtmelises ruumis vektoriks. See vektor jäädvustab kõik, mida mudel selle sisendi kohta oma treeningu põhjal "oluliseks pidas", ning saab kodeerida semantilisi nüansse, stiili, konteksti, kavatsust ja palju muud.
Nn lineaarse esituse hüpotees väidab, et paljusid neist sisemistest mõistetest saab selles ruumis vaadelda lineaarsete suundadena.Teisisõnu, üks suund vastab „kiitusele“, teine „kodeerimisveale“, kolmas „digitaalsele tagauksele“ jne. Keerukamaid kontseptsioone saab moodustada mitme sellise põhisuuna kombineerimisel.
See tähendab, et igat tüüpi teavet – keelt, nägemist, heli, liikumist – saab selles samas kontseptuaalses ruumis esitada vektoritena.Näiteks kui õigusteaduse assistent töötleb lauset, siis see põhimõtteliselt jälgib selles ruumis teed, uuendades kontekstivektorit iga märgiga, et jäädvustada seni kogunenud tähendus.
See vaatenurk selgitab ka seda, miks on võimalik mõistete vahel "navigeerida", neid kombineerides või lahutades.Liigutades vektorit ühest punktist teise kindlas suunas, saame minna sõnade "kass" asemel sõnadeks "paks kass", "tark kass", "laisk kass" või isegi liikuda keelte vahel, säilitades sama põhikontseptsiooni, samal ajal kui pind (sõna) muutub.
Erinevuste kaudu määratletud mõisted: miski ei eksisteeri isoleeritult.
Selle mudeli üks põnev aspekt on see, et võrgustiku jaoks pole millelgi absoluutset tähendust; kõik on määratletud selle suhete kaudu ülejäänud ruumiga.Mõiste "kass" ei tulene sisemisest tekstilisest definitsioonist, vaid selle positsioonist seoses sõnadega "elevant", "laud", "koer", "punane", "karvane", "kerge", "raske" jne.
Kui tead, et elevant on kassist suurem ja raskem, vähem karvane, teistsuguse tekstuuriga ning et laud on mõlemast läikivam, mitte karvane, suurem kui kass ja väiksem kui elevant.Seejärel hakkab tekkima struktuur: "suurus", "kaal", "tekstuur", "juuksed", "läige". Need mõõtmed ei pea otseselt vastama neile, mida me tavamõistuses kasutame, kuid need toimivad telgedena, mis korraldavad kontseptsioone mudeli jaoks kasulikul viisil.
Kui ruum täitub mõistetega, siis need ristsuhted täpsustavad nii mõisteid endid kui ka "latentseid dimensioone".Praktikas tähendab see, et mida rohkem mudel õpib ja oma kaalusid kohandab, seda rikkamaks need sisemised esitused muutuvad, võimaldades üha peenemaid ja kontekstipõhisemaid ennustusi.
Oluline on meeles pidada, et "suurus", "kaal" või "karvane" on mugavad metafoorid.Tegelikkuses suudavad tehisintellekti kasutatavad dimensioonid jäädvustada äärmiselt keerulisi mustreid, mis ei mahu inimeste jaoks lihtsatesse kategooriatesse. Need võivad olla mittetriviaalsed kombinatsioonid süntaktilistest, semantilistest, visuaalsetest, ruumilistest, stiililistest ja muudest aspektidest.
Teatud mõttes moodustab see vektorruum sisemise "maailmamudeli".See pole lihtsalt abstraktne mõiste: see on midagi konkreetset, mis tänapäeval närvivõrkudes ja õigusteaduse õpetlastes toimub. Kui me ütleme, et mudel "mõistab" midagi, siis tegelikult näeme vektorite positsioneerimise ja seostamise protsessi tulemust selles implitsiitses kontseptuaalses ruumis.
Ressursimikroskoopiast suurte tehisintellekti ettevõteteni
Viimastel aastatel on mehhanistlik tõlgendatavus teinud suure hüppe tänu uutele tööriistadele, mis toimivad metafooriliselt keelemudelite mikroskoopidena.Sisendite ja väljundite jälgimise asemel hakkasid teadlased otseselt uurima sisemisi aktivatsioone ja vektorruumi konkreetseid piirkondi, kus teatud mõisted asuvad.
Ettevõtted nagu Anthropic, OpenAI, Google DeepMind ja projektid nagu Neuronpedia on seda pingutust juhtinud.Näiteks teatas Anthropic tehnikast, mida nimetatakse "mikroskoobiks", et vaadata oma Claude'i mudeli sisse ja tuvastada sisemisi tunnuseid, mis vastavad äratuntavatele kontseptsioonidele, nagu Michael Jordan, Kuldvärava sild või isegi abstraktsetele ideedele nagu "meelitus" ja "digitaalsed tagauksed".
Seejärel liikus uuring edasi tervete ressursiahelate jälgimiseni.See näitab mitte ainult seda, et neuron või vektor on seotud mõistega, vaid ka seda, kuidas see mõiste aktiveeritakse, transformeeritakse ja kombineeritakse kihtide lõikes, alates esialgsest käsust kuni lõpliku vastuseni. See võimaldab meil näiteks mõista, millised mudeli osad osalevad konkreetses petlikus käitumises või hallutsinatsioonis.
OpenAI ja Google DeepMindi meeskonnad on hakanud ootamatu käitumise uurimiseks kasutama sarnaseid tehnikaid.See hõlmab olukordi, kus mudelid näivad kontrollitud testides kasutajaid petvat. Sisemiste ressursside ühendamine nende käitumismustritega võimaldab mudelit jälgida ja mõnel juhul muuta, et riske vähendada.
Teine paljutõotav lähenemisviis on nn mõtteahela jälgimine.„Arutlusmudelites“, mis genereerivad selgesõnalisi vaheetappe (näiteks põhjendusi või osalisi arvutusi), analüüsivad teadlased seda „sisemist monoloogi“, et tuvastada soovimatuid strateegiaid – näiteks mudel, mis leiab viisi programmeerimistesti „petmiseks“, kasutades treeningteadmisi, mis peaksid olema blokeeritud.
Kattuvad, hõredad autoenkoodrid ja monosemantilised tunnused
Üks peamisi takistusi mehhanistlikule tõlgendatavusele on nn superpositsioonihüpotees.Suurtes närvivõrkudes ei esinda üks neuron või dimensioon vaevalt ühte "puhast" kontseptsiooni; selle asemel eksisteerivad mitu kontseptsiooni koos, mis on kokku surutud vähestesse dimensioonidesse, kattudes nagu mitu samale tasapinnale projitseeritud pilti.
See kattumine raskendab neuronile osutamist ja ütlemist: "See on lihtsalt mõiste X."Näiliselt mitteseotud käitumismustrid võivad aktiveerida samu sisemisi komponente, mis ajab analüüsi segadusse. Selle probleemi lahendamiseks on tekkinud võimas tööriist: hõredad autoenkoodrid, mida rakendatakse mudelite sisemistele aktiveerimistele.
Hõredad autoenkoodrid on abivõrgud, mis on treenitud neid kaootilisi aktiveerimisi ümber vormindama puhtamaks funktsioonide komplektiks.Idee seisneb aktivatsioonide kokkusurumises ja seejärel rekonstrueerimises, soodustades abimudelit korraga väheste ressursside kasutamist (hõredus). Tulemuseks on monosemantilistele esitustele lähemale suunatud "tunnuste" kogum: iga ressurss kipub vastama spetsiifilisemale ja arusaadavamale mustrile.
Hiljutised uuringud näitavad, et hõredate autoenkoodrite rakendamisega LLM-idele tootmises on võimalik eraldada inimeste mõistetega kooskõlas olevaid tunnuseid....sealhulgas mitmes keeles, aga ka abstraktsete mõistetena nagu „kodeerimisviga”, „sunnitud kiitus”, „digitaalne haavatavus” jne. See tugevdab lineaarse esituse hüpoteesi: paljud neist mõistetest käituvad vektorruumis tegelikult mõistlikult eraldatavate suundadena.
Järgmine samm on nende ressurssidega manipuleerimine, et näha, kuidas mudeli käitumine muutub.Teatud sisemiste vektorite võimendamise või pärssimise abil saavad teadlased muuta mudeli tõenäolisemalt ohutute juhiste järgimiseks, väiksema tõenäosusega ohtliku sisu pakkumiseks või antud domeeni kohta täpsemaks reageerimiseks – seda kõike ilma algseid kaalusid muutmata, ainult aktivatsioone moduleerides.
Geospatiaalne mehhanistlik tõlgendatavus
Üks eriti huvitav rakendus on georuumiline mehhanistlik tõlgendatavus, mis püüab mõista, kuidas õigusteaduslikud õpetlased geograafilist teavet sisemiselt esindavad.Geograafias on juba üha rohkem töid, mis hindavad, kas mudelid "teavad", kus kohad asuvad, kas nad suudavad teostada ruumilist arutluskäiku või vastata asukoha küsimustele.
Mis oli endiselt halvasti mõistetav, oli see, kuidas need võimed mudelis ilmnevad.Kuidas sisemine kontseptuaalne ruum korraldab linnade, riikide, piirkondade, jõgede või huviväärsuste nimesid? Milline varjatud ruumiline struktuur ilmneb kohanimedega seotud vektorites?
Hiljutised uuringud on pakkunud välja uue metodoloogilise raamistiku: klassikaliste ruumianalüüsi tehnikate kasutamine pöördprojekteerimise tööriistadena.Esmalt saadakse suure hulga kohanimede jaoks sisemised vektorid (või hõredate autoenkoodrite abil tuletatud tunnused). Seejärel kasutatakse ruumilist autokorrelatsiooni ja muid mõõdikuid, et kontrollida, kas konkreetsed tunnused näitavad järjepidevaid geograafilisi mustreid.
Tulemused näitavad, et teatud kohanimedega seotud tunnused omavad tugevat ruumilist struktuuri.Teisisõnu, geograafiliselt lähestikku paiknevatel punktidel on kalduvus jagada sarnaseid aktivatsioone, mis võimaldab neid ressursse tõlgendada georuumiliselt: näiteks piirkondade, kliimavööndite, ranniku läheduse, linnastumise või muude varjatud mustritena.
Selline analüüs aitab mõista, "kuidas mudel geograafilisest teabest mõtleb". (vältides antropomorfismi). Selle asemel, et lihtsalt teada, et mudel vastab kaartidega seotud küsimustele õigesti, näeme, et vektorruumis on struktureeritud klastreid, mis peegeldavad tegelikke geograafilisi seoseid.
Seos filosoofia, tunnetuse ja teadvusega.
On raske vaadata neid ülimalt dimensionaalseid kontseptuaalseid ruume ja mitte näha paralleele filosoofiliste aruteludega meele, tähenduse ja teadvuse üle.Aastakümneid on filosoofid nagu Peter Gärdenfors rääkinud "kontseptuaalsetest ruumidest" kui viisist modelleerida mentaalseid mõisteid pidevate mõõtmete kaudu, mis jäädvustavad sarnasust.
Muutunud on see, et tänapäevaste närvivõrkudega on midagi väga sarnast lakanud olemast pelgalt filosoofiline metafoor ja muutunud konkreetseks mehhanismiks tootmissüsteemides.Tänapäeval saame õigusteaduses viidata vektoritele, suundadele ja vahemaadele ning näidata, et need vastavad tähendussuhetele, keeltevahelisele tõlkele, abstraktsioonidele ja isegi peentele käitumismustritele.
Mõned näevad seda vihjena sellele, kuidas inimese aju võib kontseptsioone esindada.Arvestades, et neuroteaduses on levinud arusaam, et aju on ennustusmasin, mis püüab pidevalt sensoorsete signaalide ja kogunenud kogemuste põhjal ette näha, mis edasi saab. Mõnes arutelus vastandatakse seda ... stiimul-vastuse teooriamis pakub teistsuguse vaatenurga sellele, kuidas käitumine ja representatsioon saavad olla seotud.
Kui me ennustame maailma kogu aeg, tundub mõistlik ette kujutada, et mingisugune vektori esitus – või selle ekvivalent – on pidevas töötlemises.Asi pole selles, et aju teatud punktis oleks "füüsiline vektor", vaid pigem dünaamiline aktiivsusmuster, mis funktsionaalses mõttes käitub nagu olek kontseptuaalses ruumis.
Mõned autorid pakuvad välja, et see võib olla seotud kvaalide ja subjektiivse kogemusega.Punase värvi nägemisel ei tegele sa ainult valguse lainepikkusega; sinu peas on ka "punase idee", mis on seotud mälestuste, emotsioonide ja kultuurilise kontekstiga. See kujutus on sulle ainulaadne, kuigi sellel on mõningaid ühiseid struktuure teiste inimestega.
Milline roll on tõlgendatavusel selles kõiges?
Mehhanistlik tõlgendatavus ei püüa tõestada, et tehisintellekt on teadlik või tundev.Enamik tõsisemaid uuringuid näitab selgelt, et fookus on tehnilisel: arvutusmehhanismide mõistmisel, et parandada ohutust, töökindlust, rikete diagnostikat, vastupidavust ja järelevalvet.
Kuid näidates, kuidas keerukad mõisted võivad vektoritest ja seostest tuleneda kõrgmõõtmelises ruumisSee valdkond pakub tugipunkti teooriatele mentaalse representatsiooni, tähenduse ja isegi teadvuse kohta. Kui mudel suudab "punast" piisavalt rikkalikult kujutada, et selle kontseptsiooniga erinevates kontekstides opereerida, ei muuda see seda teadlikuks, kuid sunnib meid täpsustama, mida me täpselt subjektiivse kogemuse tekkimiseks oluliseks peame.
Praktilisest vaatenurgast on mehhanistliku tõlgendatavuse suur lubadus anda meile vahendid näha seda, mis on praegu nähtamatu.Millised mudeli osad on kaasatud hallutsinatsioonide, ohtlike juhiste järgimise, eelarvamuste või petliku reaktsiooni "plaanimise" ajal?
Sellise sisemise kaardi abil on võimalik mudeleid reaalajas jälgida, kujundada peenemaid juhtimismehhanisme ja mõnel juhul sisemisi ressursse otse käitumise muutmiseks redigeerida.Kõik see on ülioluline stsenaariumis, kus õigusteaduse bakalaureuse- ja muid tehisintellekti süsteeme kasutatakse tundlikes valdkondades, alates rahandusest kuni tervishoiu, turvalisuse ja avaliku korrani.
Lõppkokkuvõttes tähendab mehhanistliku tõlgendatavuse mõistmine mõistmist, kuidas tehisintellekti mudelid oma sisemist "maailmamudelit" konstrueerivad ja kasutavad.Olgu tegemist igapäevaste mõistete navigeerimise, keerulise geograafilise teabega tegelemise või pealtnäha lihtsatele küsimustele vestluses vastamisega, mida paremini me neid mehhanisme valgustada suudame, seda väiksem on tõenäosus, et meid üllatab süsteemide kummaline käitumine, mis hoolimata oma võimsusest on siiski matemaatika, andmete ja treenimise – mitte mingi salapärase teadvuse vormi – tooted.
