Generatiivisen videon kehittämisessä huomio on usein keskittynyt uusien videomallien rakentamiseen.
Lokakuussa julkaistu tutkimus tarkastelee ongelmaa toisesta suunnasta: entä jos videon laadun ratkaiseva tekijä onkin sille annettu lähtökuva?
Golden Anchor for Video Generation -nimisessä tutkimuksessa selvitettiin, millaiset lähtökuvat tuottavat korkealaatuisia videoita erilaisilla kuvasta videoksi -malleilla.
Tutkijat havaitsivat, ettei yksittäisen kuvan korkea visuaalinen laatupistemäärä välttämättä ennusta onnistunutta videota.
Erityisen yksityiskohtainen kuva voi joissakin tilanteissa jopa vaikeuttaa liikkeen muodostamista.
Tämä on merkittävä havainto, koska monissa tuotantoprosesseissa kuvageneraattori ja videogeneraattori toimivat erillisinä järjestelminä.
Video kannattaa huomioida jo kuvan luomisvaiheessa
Tutkijat kehittivät Golden Anchor Learning -menetelmän, jossa kuvageneraattoria optimoidaan sen perusteella, kuinka onnistuneita videoita sen tuottamista kuvista syntyy.
Menetelmän tavoitteena ei ole pelkästään saada aikaan mahdollisimman näyttävä still-kuva, vaan sellainen kuva, joka toimii hyvin seuraavassa tuotantovaiheessa.
Tutkimuksessa menetelmää arvioitiin neljällä erilaisella videomallilla.
Tutkijoiden mukaan se paransi VBench-mittariston keskimääräisiä tuloksia noin 2,97–8,46 prosenttia verrattuna muuttamattomaan lähtömalliin.
Liikkeen määrää kuvaavassa mittarissa raportoitiin 5,62–38,24 prosentin parannuksia.
Tulokset ovat lupaavia, mutta niitä ei tule pitää riippumattomasti vahvistettuina. Tutkimus on julkaistu arXivissa ennakkojulkaisuna, eikä sen vertaisarvioinnista ole tässä vahvistettua tietoa.
Merkitys AI-elokuville ja animaatiolle
Menetelmä voisi auttaa esimerkiksi elokuvantekijöitä, animaattoreita ja markkinointivideoiden tuottajia.
Jos tekoäly kykenisi valitsemaan videon kannalta sopivampia lähtökuvia, se voisi vähentää epäonnistuneiden generointiyritysten määrää.
Tämä saattaisi säästää laskentakustannuksia ja nopeuttaa tuotantoa erityisesti silloin, kun tarvitaan paljon vaihtoehtoisia otoksia.
Tutkimus osoittaa myös, ettei luovien tekoälytyökalujen kehitys välttämättä edellytä aina suurempia malleja. Myös eri työvaiheiden parempi yhteensovittaminen voi tuottaa hyötyä.
Mitä seuraavaksi? Menetelmää olisi tärkeää testata riippumattomasti laajemmilla aineistoilla, erilaisilla videotyyleillä ja tuotantokäytössä ennen yleisiä johtopäätöksiä sen hyödyllisyydestä.
Alkuperäinen tutkimus: . Tutkimuksen tulokset ovat alustavia. Luotettavuusluokka L3.
