Umetna inteligenca ne sledi logiki znanstvenega napredka

V MT smo že večkrat pisali o raziskovalcih in strokovnjakih, ki sisteme strojnega učenja razglašajo za »črne skrinjice« (1) tudi za tiste, ki jih gradijo. Zaradi tega je težko oceniti rezultate in ponovno uporabiti nastajajoče algoritme.

Nevronske mreže – tehnika, ki nam daje inteligentne bote za pretvarjanje in genialne generatorje besedil, ki lahko celo ustvarjajo poezijo – ostaja nerazumljiva skrivnost za zunanje opazovalce.

Postajajo vse večji in bolj zapleteni, obdelujejo ogromne nabore podatkov in uporabljajo ogromne računalniške nize. Zaradi tega je replikacija in analiza pridobljenih modelov draga in včasih nemogoča za druge raziskovalce, razen za velike centre z velikimi proračuni.

Mnogi znanstveniki se tega problema dobro zavedajo. Med njimi je Joel Pino (2), predsednik NeurIPS, premier konference o ponovljivosti. Strokovnjaki pod njenim vodstvom želijo ustvariti "kontrolni seznam ponovljivosti".

Ideja, je dejal Pino, je spodbuditi raziskovalce, da drugim ponudijo načrt, da bodo lahko poustvarili in uporabili že opravljeno delo. Lahko se čudite zgovornosti novega generatorja besedil ali nadčloveški spretnosti robota za video igre, a tudi najboljši strokovnjaki nimajo pojma, kako delujejo ti čudeži. Zato je reprodukcija modelov umetne inteligence pomembna ne le za prepoznavanje novih ciljev in smeri raziskav, temveč tudi kot čisto praktičen vodnik za uporabo.

Drugi poskušajo rešiti ta problem. Googlovi raziskovalci so ponudili "kartice modelov", da bi podrobno opisali, kako so bili sistemi testirani, vključno z rezultati, ki kažejo na morebitne napake. Raziskovalci na Allenovem inštitutu za umetno inteligenco (AI2) so objavili dokument, katerega cilj je razširiti kontrolni seznam obnovljivosti pinota na druge korake v eksperimentalnem procesu. »Pokaži svoje delo,« pozivajo.

Včasih manjkajo osnovni podatki, ker je raziskovalni projekt v lasti, zlasti laboratorijev, ki delajo za podjetje. Pogosteje pa je znak nezmožnosti opisovanja spreminjajočih se in vse bolj zapletenih raziskovalnih metod. Nevronske mreže so zelo kompleksno področje. Za najboljše rezultate je pogosto potrebna fina nastavitev tisočih "gumbov in gumbov", kar nekateri imenujejo "črna magija". Izbira optimalnega modela je pogosto povezana z velikim številom eksperimentov. Magija postane zelo draga.

Na primer, ko je Facebook poskušal ponoviti delo AlphaGo, sistema, ki ga je razvil DeepMind Alphabet, se je naloga izkazala za izjemno težko. Ogromne računalniške zahteve, milijoni eksperimentov na tisočih napravah v več dneh, v kombinaciji s pomanjkanjem kode, so po mnenju zaposlenih v Facebooku naredili sistem "zelo težko, če ne celo nemogoč, ponovno ustvariti, preizkusiti, izboljšati in razširiti".

Zdi se, da je problem specializiran. Če pa razmišljamo dlje, fenomen težav s ponovljivostjo rezultatov in funkcij med enim in drugim raziskovalnim timom spodkopava vso nam znano logiko delovanja znanosti in raziskovalnih procesov. Rezultati dosedanjih raziskav se praviloma lahko uporabijo kot osnova za nadaljnje raziskave, ki spodbujajo razvoj znanja, tehnologije in splošni napredek.