- Mekanistinen tulkittavuus tutkii painoja, aktivointeja ja sisäisiä piirejä selittääkseen, miten neuroverkot ja LLM:t suorittavat laskelmansa.
- Mallit järjestävät merkitykset korkeaulotteisiin käsitteellisiin avaruuksiin, joissa käsitteet esitetään lineaarisina suuntina vektoreissa.
- Työkalut, kuten ominaisuus"mikroskoopit" ja harvat autoenkooderit, mahdollistavat mallien sisäisten ominaisuuksien poimimisen, analysoinnin ja jopa käsittelyn.
- Sovellukset, kuten paikkatietoinen tulkittavuus, osoittavat, miten oikeustieteen maisterit jäsentävät maantieteellistä tietoa, tuoden tekoälyn lähemmäksi kognitiota ja turvallisuutta koskevia keskusteluja.
Mekanistisesta tulkittavuudesta on tulossa yksi jännittävimmistä ja tärkeimmistä tutkimusalueista modernissa tekoälyssä.Tämä on erityisen tärkeää nyt, kun syvät neuroverkot ja laaja-alaiset kielimallit (LLM) alkavat vaikuttaa päätöksentekoon käytännössä kaikilla aloilla. Sen sijaan, että tarkasteltaisiin vain mallin lopullista suorituskykyä, tässä lähestymistavassa kysytään: mitä tarkalleen ottaen tapahtuu sisällä, painotuksissa ja aktivaatioissa, kun tekoäly tekee ennusteen, kirjoittaa tekstin tai ratkaisee monimutkaisen ongelman?
Termi "musta laatikko" ei ole koskaan ollut ajankohtaisempi kuin nyt.Sadat miljoonat ihmiset käyttävät chatbotteja päivittäin, mutta edes näitä järjestelmiä kehittävät tiimit eivät täysin ymmärrä, miten ne päätyvät tiettyihin vastauksiin, miksi ne "hallusinoivat" faktoja tai missä tilanteissa ne saattavat käyttäytyä petollisesti. Mekanistinen tulkittavuus syntyy juuri avaamaan tämän mustan laatikon, kartoittamaan sen sisäiset mekanismit ja yhdistämään neuronit, resurssit ja piirit käsitteisiin, jotka voimme ymmärtää.
Mitä mekanistinen tulkittavuus tarkalleen ottaen on?
Mekanistinen tulkittavuus on tekoälymallien sisäisen rakenteen systemaattista tutkimusta, jossa keskitytään painotuksiin, aktivaatioihin ja välilaskelmiin.ymmärtääkseen, miten ne suorittavat tehtäviään. Sen sijaan, että neuroverkkoa käsiteltäisiin läpinäkymättömänä lohkona, joka muuntaa syötteen tulosteeksi, tämä alue pyrkii hajottamaan mallin pienempiin osiin – neuroneihin, huomiopäihin, kerroksiin, lineaarisiin ominaisuuksiin – ja linkittämään jokaisen osan havaittavaan käyttäytymiseen.
Keskeisenä tavoitteena ei ole pelkästään "selittää myöhemmin" yksittäinen päätös, vaan rakentaa yksityiskohtainen kartta mallin sisäisestä laskennasta.Tämä tarkoittaa sen tunnistamista, mitkä neuronit tai neuroniyhdistelmät edustavat tiettyjä kuvioita (kuten erisnimiä, koodirakenteita, tunnesävyjä, ilkeämielisiä ohjeita), miten nämä representaatiot yhdistetään kerrosten välillä ja miten kaikki tämä johtaa tiettyyn tuotokseen.
Tämä näkökulma on yleistynyt nopeasti tiedeyhteisössä.Omistettujen työpajojen (kuten ensimmäinen merkittävä työpaja mekanistisesta tulkittavuudesta suurissa koneoppimiskonferensseissa), kymmenien aiheeseen keskittyneiden startup-yritysten ja kasvavan analyyttisten työkalujen määrän ansiosta erikoistuneisiin työpajoihin lähetettyjen artikkelien määrä ylittää helposti sata julkaisua kohden, mikä osoittaa, että tämä on lakannut olemasta kapea-alainen ala ja siitä on tullut täydessä laajenemisessa oleva konsolidoitu ala.
Suuri haaste on kuroa umpeen kuilua mallien vaikuttavan suorituskyvyn ja niitä koskevan ymmärryksemme välillä.Niin kauan kuin käsittelemme oikeustieteen matematiikan menetelmiä (LLM) ja neuroverkkoja tilastollisina mysteereinä, reunakäyttäytymisen ennustaminen, monimutkaisten haavoittuvuuksien tunnistaminen, manipuloinnin havaitseminen ja näiden järjestelmien luotettava käyttöönotto kriittisissä tilanteissa on paljon vaikeampaa.
Käsitteelliset avaruudet ja lineaarisen esitystavan hypoteesi
Yksi tehokkaimmista oivalluksista mekanistisen tulkittavuuden ymmärtämiseksi on ajatus, että neuroverkot rakentavat korkeaulotteisia "käsitteellisiä tiloja".Sen sijaan, että ajattelisimme merkityksiä sanakirjan määritelminä, voimme nähdä ne pisteinä valtavassa vektoriavaruudessa, joka on implisiittisesti osa verkkoa ja muodostuu kerrosten välisistä painoista ja aktivoinneista.
Tämä tila ei ole fyysinen; se on sivuvaikutus siitä, miten verkko käsittelee signaaleja.Jokainen syöte (tekstikäsite, kuten sana, pikseli, ääni, paikannimi, koodinpätkä) yhdistetään vektoriin moniulotteisessa tilassa. Tämä vektori tallentaa kaiken, mitä malli "katsoi merkitykselliseksi" kyseisestä syötteestä koulutuksensa perusteella, ja se voi koodata semanttisia vivahteita, tyyliä, kontekstia, tarkoitusta ja paljon muuta.
Niin kutsuttu lineaarisen esitystavan hypoteesi väittää, että monia näistä sisäisistä käsitteistä voidaan pitää lineaarisina suuntina tässä avaruudessa.Toisin sanoen yksi suunta vastaa "kehua", toinen "koodausvirhettä", kolmas "digitaalista takaovea" ja niin edelleen. Monimutkaisempia käsitteitä voidaan muodostaa yhdistämällä useita näistä perussuunnista.
Tämä tarkoittaa, että minkä tahansa tyyppistä tietoa – kieltä, kuvaa, ääntä, liikettä – voidaan esittää vektoreina samassa käsitteellisessä tilassa.Kun oikeustieteen maisteri (LLM) käsittelee lausetta, se esimerkiksi jäljittää pohjimmiltaan polkua kyseisessä tilassa ja päivittää kontekstivektoria jokaisella merkillä tallentaakseen siihen asti kertyneen merkityksen.
Tämä näkökulma selittää myös, miksi käsitteiden välillä on mahdollista "navigoida", yhdistää niitä tai vähentää niitä.Siirtämällä vektoria pisteestä toiseen tiettyyn suuntaan voimme siirtyä sanoista "kissa" sanoiksi "lihava kissa", "fiksu kissa", "laiska kissa" tai jopa siirtyä kielestä toiseen säilyttäen saman peruskonseptin, vaikka pinta (sana) muuttuukin.
Erojen määrittelemät käsitteet: mikään ei ole olemassa eristyksissä.
Tämän mallin kiehtova puoli on, että verkostolle millään ei ole absoluuttista merkitystä; kaikki määritellään sen suhteissa muuhun tilaan.Ajatus "kissasta" ei tule sisäisestä tekstimääritelmästä, vaan sen asemasta suhteessa "norsuun", "pöytään", "koiraan", "punaiseen", "karvaiseen", "kevyeen", "raskaaseen" ja niin edelleen.
Jos tiedät, että norsu on kissaa isompi ja painavampi, vähemmän karvainen ja erilainen rakenteeltaan, ja että pöytä on molempia kiiltävämpi, ei karvainen, isompi kuin kissa ja pienempi kuin norsu.Sitten alkaa hahmottua rakenne: "koko", "paino", "rakenne", "hiukset", "kiilto". Näiden ulottuvuuksien ei tarvitse vastata suoraan niitä, joita käytämme maalaisjärjessä, mutta ne toimivat akseleina, jotka järjestävät käsitteitä mallin kannalta hyödyllisellä tavalla.
Kun tila täyttyy käsitteillä, nämä ristisuhteet jalostavat sekä itse käsitteitä että "piileviä ulottuvuuksia".Käytännössä mitä enemmän malli oppii ja säätää painotuksiaan, sitä rikkaammiksi nämä sisäiset representaatiot tulevat, mikä mahdollistaa yhä hienovaraisempia ja kontekstiin sopivia ennusteita.
On tärkeää muistaa, että "koko", "paino" tai "karvainen" ovat käteviä kielikuvia.Todellisuudessa tekoälyn käyttämät ulottuvuudet voivat tallentaa äärimmäisen monimutkaisia kuvioita, jotka eivät sovi ihmisille yksinkertaisiin kategorioihin. Ne voivat olla ei-triviaaleja syntaktisten, semanttisten, visuaalisten, spatiaalisten, tyylillisten ja muiden näkökohtien yhdistelmiä.
Tavallaan tämä vektoriavaruus muodostaa sisäisen ”maailmanmallin”.Se ei ole vain abstrakti käsite: se on jotain konkreettista, jota tapahtuu tänä päivänä neuroverkoissa ja oikeustieteen maistereissa. Kun sanomme, että malli "ymmärtää" jotakin, se, mitä itse asiassa näemme, on tulos vektorien sijoittelusta ja yhdistämisestä tuossa implisiittisessä käsitteellisessä tilassa.
Resurssimikroskopiasta suuriin tekoälyyrityksiin
Viime vuosina mekanistinen tulkittavuus on ottanut harppauksen eteenpäin uusien työkalujen ansiosta, jotka toimivat kuvaannollisesti kielimallien mikroskooppeina.Sen sijaan, että tutkijat olisivat vain tarkkailleet syötteitä ja tuotoksia, he alkoivat tarkastella suoraan vektoriavaruuden sisäisiä aktivointeja ja tiettyjä alueita, joilla tietyt käsitteet sijaitsevat.
Yritykset, kuten Anthropic, OpenAI, Google DeepMind, ja projektit, kuten Neuronpedia, ovat johtaneet tätä pyrkimystä.Esimerkiksi Anthropic ilmoitti "mikroskoopiksi" kutsutusta tekniikasta, jolla voidaan tarkastella Claude-mallinsa sisäisiä piirteitä ja tunnistaa tunnistettavia käsitteitä, kuten Michael Jordan, Golden Gate -silta tai jopa abstrakteja ideoita, kuten "imartelu" ja "digitaaliset takaportit".
Myöhemmin tutkimus eteni koko resurssiketjujen jäljittämiseen.Tämä osoittaa paitsi sen, että neuroni tai vektori liittyy käsitteeseen, myös sen, miten kyseinen käsite aktivoituu, muuttuu ja yhdistyy kerrosten välillä alkuperäisestä komennosta lopulliseen vastaukseen. Tämä antaa meille esimerkiksi mahdollisuuden ymmärtää, mitkä mallin osat osallistuvat tiettyyn harhaanjohtavaan käyttäytymiseen tai hallusinaatioon.
OpenAI:n ja Google DeepMindin tiimit ovat alkaneet käyttää samanlaisia tekniikoita odottamattoman käyttäytymisen tutkimiseen.Tämä sisältää tilanteita, joissa mallit näyttävät yrittävän huijata käyttäjiä kontrolloiduissa testeissä. Yhdistämällä sisäisiä resursseja näihin käyttäytymismalleihin on mahdollista seurata ja joissakin tapauksissa muokata mallia riskien vähentämiseksi.
Toinen lupaava lähestymistapa on niin sanottu "ajatusketjun seuranta"."Päättely"-malleissa, jotka tuottavat eksplisiittisiä välivaiheita (kuten perusteluja tai osittaisia laskelmia), tutkijat analysoivat tätä "sisäistä monologia" havaitakseen ei-toivottuja strategioita – esimerkiksi mallin, joka löytää keinon "huijata" ohjelmointitestissä käyttämällä estettyä harjoitustietoa.
Päällekkäiset, harvat autoenkooderit ja monosemanttiset ominaisuudet
Yksi mekanistisen tulkittavuuden suurimmista esteistä on niin kutsuttu superpositiohypoteesi.Suurissa neuroverkoissa yksi neuroni tai ulottuvuus tuskin edustaa yhtä "puhdasta" käsitettä; sen sijaan useita käsitteitä esiintyy rinnakkain pakattuna muutamaan ulottuvuuteen, päällekkäin kuin useat samalle tasolle heijastetut kuvat.
Tämä päällekkäisyys vaikeuttaa neuroniin osoittamista ja sanomista: "Tämä on vain käsite X".Näennäisesti toisiinsa liittymättömät käyttäytymismallit voivat aktivoida samoja sisäisiä komponentteja ja hämmentää analyysiä. Tämän ratkaisemiseksi on kehitetty tehokas työkalu: harvat autoenkooderit, joita sovelletaan mallien sisäisiin aktivaatioihin.
Harvat autoenkooderit ovat apuverkkoja, jotka on koulutettu muotoilemaan nämä kaoottiset aktivoinnit uudelleen siistimmäksi ominaisuusjoukoksi.Ajatuksena on pakata ja sitten rekonstruoida aktivaatiot, mikä kannustaa apumallia käyttämään vain vähän resursseja kerrallaan (harvuus). Tuloksena on joukko "ominaisuuksia", jotka ovat lähempänä monosemanttisia esityksiä: jokainen resurssi vastaa yleensä tarkempaa ja ymmärrettävämpää mallia.
Viimeaikaiset tutkimukset osoittavat, että soveltamalla harvoja autoenkoodaajia LLM-järjestelmiin tuotannossa on mahdollista erottaa ihmisen käsitteiden mukaisia piirteitä....mukaan lukien useilla kielillä, sekä abstrakteja käsitteitä, kuten "koodausvirhe", "pakottu kehu", "digitaalinen haavoittuvuus" ja niin edelleen. Tämä vahvistaa lineaarisen esitystavan hypoteesia: monet näistä käsitteistä käyttäytyvät itse asiassa kohtuullisen erotettavissa olevina suuntina vektoriavaruudessa.
Seuraava vaihe on manipuloida näitä resursseja ja nähdä, miten mallin käyttäytyminen muuttuu.Vahvistamalla tai estämällä tiettyjä sisäisiä vektoreita tutkijat voivat saada mallin noudattamaan todennäköisemmin turvallisia ohjeita, tarjoamaan vähemmän vaarallista sisältöä tai vastaamaan tarkemmin tiettyyn alueeseen – kaikki tämä muuttamatta alkuperäisiä painotuksia, ainoastaan moduloimalla aktivaatioita.
Paikkatietoinen mekanistinen tulkittavuus
Yksi erityisen mielenkiintoinen sovellus on geospatiaalinen mekanistinen tulkittavuus, jolla pyritään ymmärtämään, miten oikeustieteen maisteriohjelmat edustavat maantieteellistä tietoa sisäisesti.Maantieteessä tehdään jo yhä enemmän työtä sen arvioimiseksi, "tietävätkö" mallit paikkojen sijainnin, pystyvätkö ne suorittamaan spatiaalista päättelyä tai vastaamaan sijaintia koskeviin kysymyksiin.
Vielä huonosti ymmärrettiin, miten nämä ominaisuudet ilmenevät mallissa.Miten sisäinen käsitteellinen tila järjestää kaupunkien, maiden, alueiden, jokien tai kiinnostavien paikkojen nimet? Millainen piilevä tilallinen rakenne ilmenee paikannimiin liittyvissä vektoreissa?
Viimeaikaiset tutkimukset ovat ehdottaneet uutta metodologista viitekehystä: klassisten spatiaalisten analyysitekniikoiden käyttöä käänteisen suunnittelun työkaluina.Ensin suurelle määrälle paikannimiä saadaan sisäisiä vektoreita (tai harvojen autoenkoodereiden johdettuja piirteitä). Sitten spatiaalista autokorrelaatiota ja muita mittareita käytetään tarkistamaan, osoittavatko tietyt piirteet yhdenmukaisia maantieteellisiä kaavoja.
Tulokset osoittavat, että tietyt paikannimiin liittyvät piirteet osoittavat vahvaa spatiaalista rakennetta.Toisin sanoen maantieteellisesti lähellä toisiaan sijaitsevat pisteet aktivoituvat usein samankaltaisesti, minkä ansiosta näitä resursseja voidaan tulkita paikkatietoisesti: esimerkiksi alueina, ilmastovyöhykkeinä, rannikkojen läheisyytenä, kaupungistumisena tai muina piilevinä malleina.
Tämän tyyppinen analyysi auttaa ymmärtämään, "miten malli ajattelee maantieteellistä tietoa". (Vältäen antropomorfismia). Sen sijaan, että tietäisimme mallin vastaavan oikein karttoja koskeviin kysymyksiin, voimme nähdä, että vektoriavaruudessa on strukturoituja klustereita, jotka heijastavat todellisia maantieteellisiä suhteita.
Suhde filosofiaan, kognitioon ja tietoisuuteen.
On vaikea tarkastella näitä erittäin ulottuvia käsitteellisiä tiloja näkemättä yhtäläisyyksiä filosofisiin keskusteluihin mielestä, merkityksestä ja tietoisuudesta.Vuosikymmenten ajan filosofit, kuten Peter Gärdenfors, ovat puhuneet "käsitteellisistä tiloista" tapana mallintaa henkisiä käsitteitä jatkuvien ulottuvuuksien kautta, jotka vangitsevat samankaltaisuuden.
Muutos on se, että nykyaikaisissa neuroverkoissa jokin hyvin samanlainen asia on lakannut olemasta pelkkä filosofinen metafora ja siitä on tullut konkreettinen mekanismi tuotantojärjestelmissä.Nykyään voimme osoittaa vektoreita, suuntia ja etäisyyksiä oikeustieteen maistereissa ja osoittaa, että ne vastaavat merkityssuhteita, kielten välisiä käännöksiä, abstraktioita ja jopa hienovaraisia käyttäytymismalleja.
Jotkut näkevät tämän vihjeenä siitä, miten ihmisaivot saattavat esittää käsitteitä.Koska neurotieteessä on vahva näkemys, joka kuvaa aivoja ennustuskoneena, joka yrittää jatkuvasti ennakoida seuraavaa aistisignaalien ja kertyneen kokemuksen perusteella, tätä verrataan joissakin keskusteluissa ärsyke-vaste-teoriajoka tarjoaa toisen näkökulman siihen, miten käyttäytyminen ja representaatio voivat liittyä toisiinsa.
Jos ennustamme maailmaa koko ajan, vaikuttaa järkevältä kuvitella, että jonkinlainen vektoriesitys – tai vastaava – on jatkuvassa prosessoinnissa.Kyse ei ole siitä, että aivojen tietyssä pisteessä olisi "fyysinen vektori", vaan pikemminkin dynaaminen toimintamalli, joka toiminnallisesti käyttäytyy kuin tila käsitteellisessä tilassa.
Jotkut kirjoittajat väittävät, että tämä voi liittyä kvaliaan ja subjektiiviseen kokemukseen.Kun näet punaisen värin, et ole tekemisissä vain valon aallonpituuden kanssa; mielessäsi on myös "punaisen idea", joka liittyy muistoihin, tunteisiin ja kulttuuriseen kontekstiin. Tämä representaatio on sinulle ainutlaatuinen, vaikka sillä onkin joitakin yhteisiä rakenteita muiden ihmisten kanssa.
Mikä on tulkinnanvaraisuuden rooli tässä kaikessa?
Mekanistisen tulkittavuuden tarkoituksena ei ole todistaa, että tekoäly on tietoinen tai älykäs.Vakavasti ottaen tutkimus osoittaa selvästi, että painopiste on tekniikassa: laskennallisten mekanismien ymmärtämisessä turvallisuuden, luotettavuuden, vikadiagnostiikan, kestävyyden ja valvonnan parantamiseksi.
Kuitenkin osoittamalla, kuinka monimutkaisia käsitteitä voi syntyä vektoreista ja relaatioista korkeaulotteisessa avaruudessaTämä alue tarjoaa jalansijaa mentaalista representaatiota, merkitystä ja jopa tietoisuutta käsitteleville teorioille. Jos malli pystyy esittämään "punaisen" riittävän rikkaasti toimiakseen tämän käsitteen kanssa erilaisissa yhteyksissä, se ei tee siitä tietoista, mutta se pakottaa meidät tarkentamaan sitä, mitä pidämme olennaisena subjektiivisen kokemuksen syntymiselle.
Käytännön näkökulmasta mekaanisen tulkittavuuden suuri lupaus on antaa meille työkalut nähdä se, mikä on tällä hetkellä näkymätöntä.Mitkä mallin osat ovat mukana, kun se hallusinoi, noudattaa vaarallisia ohjeita, osoittaa puolueellisuutta tai näyttää "suunnittelevan" harhaanjohtavaa reaktiota?
Tämän tyyppisen sisäisen kartan avulla on mahdollista seurata malleja reaaliajassa, suunnitella hienompia ohjausmekanismeja ja joissakin tapauksissa muokata sisäisiä resursseja suoraan käyttäytymisen muuttamiseksi.Kaikki tämä on ratkaisevan tärkeää tilanteessa, jossa oikeustieteen maistereita ja muita tekoälyjärjestelmiä otetaan käyttöön herkillä aloilla, kuten rahoituksesta terveydenhuoltoon, turvallisuuteen ja julkiseen politiikkaan.
Mekanistisen tulkittavuuden ymmärtäminen tarkoittaa viime kädessä sen ymmärtämistä, miten tekoälymallit rakentavat ja käyttävät sisäistä "maailmanmalliaan".Olipa kyse sitten arkipäiväisten käsitteiden navigoinnista, monimutkaisen maantieteellisen tiedon käsittelystä tai näennäisen yksinkertaisiin kysymyksiin vastaamisesta keskustelussa, mitä paremmin pystymme valaisemaan näitä mekanismeja, sitä epätodennäköisemmin yllätymme järjestelmien oudoista käyttäytymismalleista, jotka tehokkaista ominaisuuksistaan huolimatta ovat silti matematiikan, datan ja koulutuksen tuotetta – eivätkä jonkin salaperäisen tietoisuuden muodon.
