AI gör film av text

En kort text blir till video med ett nytt verktyg baserat på artificiell intelligens. Verktyget är tänkt som en hjälp för kreatörer, men kan även missbrukas.

Publicerad
två bilder sammanlagda, svartvit bild på par med paraply + flygande hund med röd mantel och glasögon

Företaget Meta är inte först med att göra filmsnuttar av text, men kvaliteten är bättre än tidigare försök.
Bild: Meta

Facebooks ägarbolag Meta, har presenterat verktyget text-to-video som skapar filmer från textsnuttar. Ett exempel utgår från meningen: ”En hund iklädd superhjältedräkt med röd mantel flyger genom luften”.

Meta visar upp en lång rad andra exempel och tekniken har publicerats i en ännu ogranskad forskningsartikel.

Verktyget är det senaste framsteget inom det som brukar kallas generativ artificiell intelligens. Med detta menas AI-system som tränas på bilder och texter eller andra data för att sedan skapa egna.

Skapar film av en mening

AI:n har skapat en film av meningen ”A dog wearing a superhero outfit with red cape flying through the sky”. 
Bild: Meta

Området utvecklas snabbt. Forskning & Framsteg har tidigare berättat om AI som kan skapa falska människor – så kallade deep fakes, bilder från texter och allt bättre språkmodeller.

Under det senaste året har tekniken för att skapa bild från en text tagit stora steg framåt. Ett av de mest omtalade programmen heter DALL-E. Ett annat omtalat text-till-bild- program är Stable Diffusion från företaget Stability AI.

Kräver mycket datorkraft

Men att skapa film från text är en större utmaning. Dels kräver det mycket stor datorkraft, dels är det ont om träningsdata i form av filmer med textbeskrivningar. Metas utvecklare har löst problemet genom att dela upp det i två. De har först lärt AI:n att koppla ihop text och enstaka bilder. Sedan har de lagt till en modul där de gör video från en bild.

– Genom att dela upp problemet i två delproblem behöver man inte gå direkt från text till rörlig bild. Därmed blir det mindre komplext, säger Ariel Ekgren, forskare på organisationen AI Sweden.

Han påpekar att Meta inte är först med att få gå från text till film, men att ingen tidigare har visat upp filmer med så hög kvalitet.

Sänker tröskeln för falskt innehåll

Liknande verktyg är redan på gång från andra företag och forskningsorganisationer. Samtidigt kommer det andra exempel på generativ AI.

– Det händer väldigt mycket och det finns exempel på AI som gör om text till ljud, en varm sommardag kan då ljudsättas med fågelkvitter, säger Ariel Ekgren.

Ett annat exempel är ett nytt AI-program från Google som gör 3d-modeller utifrån en kort textbeskriving.

Men det finns också farhågor om att de nya AI-verktygen sänker tröskeln för att skapa falskt innehåll. Enligt Meta kommer det nya verktyget bland annat att genomgå fler tester innan det släpps publikt.

F&F Evenemang:

En kväll om livet efter digitaliseringen

En tankeväckande och lärorik kväll med teknikhistorikern Nina Wormbs, sociologen Malin Åkerström, filosofen Hans Ruin och litteraturvetaren Jesper Olsson. 25 januari på Playhouse Teater i Stockholm.

Läs mer och boka

Prenumerera på Forskning & Framsteg!

10 nummer om året och dagliga nyheter på webben med vetenskapligt grundad kunskap.

Beställ idag
Publicerad

Upptäck F&F:s arkiv!

Se alla utgåvor