Anthropic toi 7. lokakuuta julki Claude Haiku 5.5 -kielimallin, jonka se on suunnitellut nopeisiin ja toistuviin tehtäviin. Yhtiö nostaa käyttöesimerkeiksi tiivistelmät, luokittelun, tietokantakyselyt, asiakaspalvelun ja selainympäristössä tehtävät toiminnot. Julkistus havainnollistaa, miksi suurin tai vaikeimmissa kokeissa parhaiten suoriutuva kielimalli ei ole välttämättä yrityksen järkevin valinta jokaiseen käyttötapaukseen.
Anthropicin oman ilmoituksen mukaan Haiku 5.5:n käyttö maksaa keskimäärin noin 75 prosenttia vähemmän kuin Haiku 4.5:n. Hintavertailu riippuu kuitenkin kysymysten pituudesta, vastausten määrästä ja ohjelmointirajapinnan käytöstä. Lisäksi yhtiö puolitti Claude Sonnet 5.5:n välimuistista luettavien tietojen hinnan ja arvioi sen laskevan useiden agenttityönkulkujen kustannuksia. Luvut ovat valmistajan ilmoittamia eivätkä itsenäinen kokonaistaloudellinen vertailu.
Monessa palvelussa tekoälyä käytetään lukuisia kertoja yhden käyttäjätoiminnon aikana. Esimerkiksi asiakaspalvelupyyntö voidaan ensin luokitella, sitten hakea asiakastiedot ja lopuksi luonnostella vastaus. Jos jokainen vaihe suoritetaan kalleimmalla saatavilla olevalla mallilla, kokonaiskustannus voi kasvaa nopeasti. Kevyempää mallia voidaan käyttää rutiinivaiheisiin, kun taas vaikeammat tilanteet ohjataan tehokkaammalle mallille.
Tällaisesta mallien työnjaosta käytetään usein ilmaisua mallireititys. Se ei ole täysin automaattinen kustannussäästö: järjestelmän kehittäjän täytyy tunnistaa, missä kohdin pieni malli riittää ja milloin tuloksen laatu vaatii vahvempaa päättelyä. Myös virheellisesti luokiteltu yksittäinen pyyntö voi tuottaa myöhemmissä vaiheissa odottamattoman lopputuloksen.
Käyttökustannuksia ei kuitenkaan pidä ajatella pelkkänä yhden API-kutsun hintana. Tuotantokäytössä mukaan tulevat esimerkiksi virheiden korjaaminen, viiveet, tietosuojavaatimukset, valvonta ja varajärjestelmän kustannukset. Halvempi malli voi tulla kalliiksi, jos sen vastauksia joudutaan tarkistamaan jatkuvasti käsin. Siksi onnistunut vertailu mittaa koko työnkulun läpimenoa ja laatua.
Kielimallien pienentyminen voi vaikuttaa myös ohjelmistojen arkkitehtuuriin. Yksi suuri malli ei enää välttämättä hoida kaikkia vaiheita, vaan tehtävä voidaan pilkkoa pieniksi osiksi, joiden tuloksia tarkistetaan ennen etenemistä. Kehitys saattaa lisätä markkinoiden kilpailua, mutta samalla se vaatii ohjelmistotaloilta aiempaa enemmän osaamista mallien valinnassa ja laadun arvioinnissa.
Pienempien mallien kehitys voi madaltaa kynnystä rakentaa sovelluksia, joissa tekoäly käsittelee suuria määriä viestejä, dokumentteja tai tapahtumia. Erityisesti pienten yritysten kannalta ennustettava kustannusrakenne on tärkeä: kuukausittain läpikäytävien tehtävien määrä saattaa kasvaa paljon nopeammin kuin käyttäjien määrä.
Julkistuksen avoin kysymys on suorituskyvyn ja kustannuksen suhde todellisessa käytössä. Anthropicin omat testit osoittavat mallin kehityssuunnan mutta eivät yksin riitä osoittamaan, että se olisi paras valinta kaikkiin tehtäviin. Toimituksellisesti kiinnostavin jatkoseuranta koskee riippumattomia arvioita sekä sitä, kuinka luotettavasti pienet mallit toimivat itsenäisten agenttien osina.
