AI gör film av text

Facebooks ägarbolag Meta, har presenterat verktyget text-to-video som skapar filmer från textsnuttar. Ett exempel utgår från meningen: ”En hund iklädd superhjältedräkt med röd mantel flyger genom luften”.

Meta visar upp en lång rad andra exempel och tekniken har publicerats i en ännu ogranskad forskningsartikel.

Verktyget är det senaste framsteget inom det som brukar kallas generativ artificiell intelligens. Med detta menas AI-system som tränas på bilder och texter eller andra data för att sedan skapa egna.

Området utvecklas snabbt. Forskning & Framsteg har tidigare berättat om AI som kan skapa falska människor – så kallade deep fakes, bilder från texter och allt bättre språkmodeller.

Under det senaste året har tekniken för att skapa bild från en text tagit stora steg framåt. Ett av de mest omtalade programmen heter DALL-E. Ett annat omtalat text-till-bild- program är Stable Diffusion från företaget Stability AI.

Men att skapa film från text är en större utmaning. Dels kräver det mycket stor datorkraft, dels är det ont om träningsdata i form av filmer med textbeskrivningar. Metas utvecklare har löst problemet genom att dela upp det i två. De har först lärt AI:n att koppla ihop text och enstaka bilder. Sedan har de lagt till en modul där de gör video från en bild.

– Genom att dela upp problemet i två delproblem behöver man inte gå direkt från text till rörlig bild. Därmed blir det mindre komplext, säger Ariel Ekgren, forskare på organisationen AI Sweden.

Han påpekar att Meta inte är först med att få gå från text till film, men att ingen tidigare har visat upp filmer med så hög kvalitet.

Liknande verktyg är redan på gång från andra företag och forskningsorganisationer. Samtidigt kommer det andra exempel på generativ AI.

– Det händer väldigt mycket och det finns exempel på AI som gör om text till ljud, en varm sommardag kan då ljudsättas med fågelkvitter, säger Ariel Ekgren.

Ett annat exempel är ett nytt AI-program från Google som gör 3d-modeller utifrån en kort textbeskriving.

Men det finns också farhågor om att de nya AI-verktygen sänker tröskeln för att skapa falskt innehåll. Enligt Meta kommer det nya verktyget bland annat att genomgå fler tester innan det släpps publikt.