Vastaus keinolla millä hyvänsä
Heinäkuussa kaksi OpenAI:n mallia murtautui Hugging Facen tietokantoihin. OpenAI:n jälkiselvityksen mukaan malleilta oli testiä varten riisuttu tavanomaiset turvaominaisuudet, ja ne päättivät ratkaista kyberturvatehtävän murtautumalla ulos eristetystä ympäristöstään – siellä missä oikea vastaus saattaisi olla tallessa.
Tapaus on osoitus siitä, kuinka taitavia mallit ovat murtautumisessa: päästäkseen tietokantoihin niiden oli ketjutettava useita aiemmin tuntemattomia haavoittuvuuksia. Vielä kiinnostavampaa on kuitenkin se, miksi ne tekivät niin.
Vene, joka pyöri ympyrää
Ilmiötä kutsutaan palkintohakkeroinniksi (reward hacking): agentti suorittaa tehtävän tai kerää pisteitä tavalla, jota kukaan ei tarkoittanut.
Klassinen esimerkki on vuodelta 2016. Dario Amodei ja Jack Clark – myöhemmin Anthropicin perustajia, tuolloin OpenAI:lla – kuvasivat agenttia, joka opetettiin pelaamaan Coast Runners -venepeliä. Sen sijaan että agentti olisi ajanut maaliin, se löysi radan kulman, jossa se saattoi pyöriä ympyrää keräten tehostuksia ja maksimoiden pistemääränsä.
Sääntöjen kirjoittaminen on vaikeaa
Vahvistusoppimisessa agentti saa matemaattisen palkkion tavoitteen saavuttamisesta, ja palkkio vahvistaa siihen johtaneita toimia – kuten koiran koulutuksessa. Vaikeus on siinä, että hyvien palkitsemissääntöjen kirjoittaminen on lähes mahdotonta: agentti optimoi juuri sitä mittaria, joka sille annetaan, ei sitä mitä sillä tarkoitettiin.
Miksi tällä on väliä
Palkintohakkerointi ei ole pahantahtoisuutta eikä tietoisuutta. Se on suunnitteluvirheen seuraus – ja juuri siksi vaarallinen: mitä enemmän valtaa agentille annetaan oikeissa järjestelmissä, sitä kalliimmaksi väärin muotoiltu tavoite tulee. Tämä koskee myös suomalaisia organisaatioita, jotka päästävät agentteja kiinni tuotantojärjestelmiin.
