Io e Mateusz da due anni stiamo lavorando sull’esplorazione degli utilizzi degli strumenti e dei modelli di IA nel cinema e nell’audiovisivo. Si badi bene, non solo IA generativa.  Mateusz, ha realizzato ormai tre anni fa – prima dell’esplosione dell’hype – un lungometraggio, “Il diario di Sisifo”, come esperimento “estremo” di scrittura di sceneggiatura con un LLM (ne scrive qui). Questo approccio gli ha permesso di capire da un lato i limiti della “scrittura automatizzata” dall’altro di intuire potenzialità sia nella collaborazione essere umano-macchina sia (soprattutto) nell’uso dell’IA in una pletora di attività diverse all’interno del workflow produttivo: post-produzione in primis ma anche, solo per fare qualche esempio, nelle fasi di elaborazione del budget, della pianificazione delle riprese, dell’audience design.

Abbiamo passato questi due anni ascoltando e confrontandoci con gli addetti ai lavori (almeno quelli che hanno accettato il dialogo) per capire le loro esigenze, i loro dubbi, i loro timori. Abbiamo svolto diversi corsi di formazione in cui abbiamo fornito le basi per sfruttare al meglio gli strumenti AI-based, in particolare open come ComfyUI. Mai è mancata una lezione sui problemi legati ai modelli generativi come l’addestramento compiuto con lo “scraping” selvaggio su ogni genere di contenuto (anche sotto copyright), i pregiudizi ereditati da questi contenuti, i rischi per l’occupazione, la sostenibilità ambientale.

Abbiamo fatto molti test e sono stati sviluppati diversi prototipi di tools che ci sono serviti per capire a fondo potenzialità e limiti (al solito…). Abbiamo compreso, tra le altre cose, che modelli più piccoli, magari open source /open weights, da usare in locale o comunque in ambiente “privato” possono essere comunque molto efficienti.

Insomma, abbiamo cercato di rendere onore al termine “laboratorio”.

Essendo poi in contatto con gli ambienti universitari, dove da tempo si lavora – eccome! – sul tema affascinante ma delicato della creatività assistita dalle macchine, abbiamo pensato che potesse essere utile avere un caso di studio serio, documentato, analizzato anche in ambito accademico: caso incentrato sul settore audiovisivo, sulla co-creazione e, più in generale, sui possibili utilizzi dell’IA e del machine learning nella filiera produttiva.

È nato così Cort-IA. La prima, centrale domanda a cui il contest vuole rispondere è: si può scrivere una sceneggiatura in “collaborazione” con un chatbot o un modello LLM? Come avviene questo processo co-creativo? Quali i metodi possibili (siamo centauri o cyborg? Una risposta per Ethan Mollick), quali i passaggi, le difficoltà, le sorprese? Quale il risultato finale? Che insegnamenti trarre da questa collaborazione inedita tra carbonio e silicio? L’IA è una rovina (come disse Charlie Chaplin per l’avvento del sonoro nel cinema)? È la (ri)morte dell’autore (quasi mezzo secolo dopo Barthes)? O c’è un nuovo “auteur” nelle pagine di Cahiers du Cinema?

Va bene, queste ultime domande (con citazioni scontate) sono il massimo della mia vis polemica…

Il lavoro non si fermerà con la proclamazione di una sceneggiatura vincitrice. Cercheremo di utilizzare quanto appreso nel nostro laboratorio anche durante la fase produttiva, per avere un caso di studio completo, utile per dare maggiori informazioni a tutto il settore cinematografico/audiovisivo e per aiutare chi dovrà stilare linee guida per l’utilizzo dell’IA.

Infine alcune precisazioni.

Il contest è organizzato da noi di SophIA (chi scrive, Federico Bo e Mateusz Miroslaw Lis). Rai Cinema Channel è un partner che ha accettato di aiutarci (decisione davvero non scontata di cui non possiamo che essere grati). Come gli altri partner, Rai Cinema Channel non contribuisce economicamente in nessun modo. Potrà, come evidenziato nel regolamento, valutare se acquistare (o meno) il corto realizzato.

Non verranno elargiti premi in denaro, noi di SophIA non percepiamo alcun compenso da nessuna parte in causa. Forniremo assistenza gratuita alla produzione per l’utilizzo degli strumenti AI-based.

Il caso di studio sarà documentato sia con paper accademici che con altri contenuti, sempre pubblici.

Speriamo davvero di poter scoprire modi insoliti, imprevisti, bizzarri, intriganti di scrivere storie che ci aiutino a svelare qualcosa di “altro” su di noi e su quella leggenda che chiamiamo realtà.

update Gabriele Niola su Wired ha “letto” e inquadrato correttamente il contest

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.

Katya Vettorello, esperta di Graphic Art & Image Editing (e ora AI artist), racconta a Pier Luigi Pisa come si lavora con l’IA generativa. Conoscenze pregresse, innumerevoli prove e test, individuazione di tecniche e buone pratiche: insomma duro lavoro e niente “formule magiche”.

“Cos’è che la fa stare sveglia la notte, a produrre immagini con un’intelligenza artificiale?
“La meraviglia di vedere davanti agli occhi quello che hai nella mente. Come fosse una Polaroid che si materializza piano piano”.”

Fonte: repubblica.it

Un altro tipo di linguaggio

“A Kind of Language: Storyboards and Other Renderings for Cinema” è la mostra curata da Melissa Harris per Fondazione Prada che esamina il processo creativo prima della realizzazione di un film esplorando storyboard e altri materiali come moodboard, disegni e schizzi, scrapbook e quaderni, sceneggiature commentate e fotografie.”

Storyboard, moodboard e versioni più multimodali cominciano a essere realizzate con le IA generative per aiutare regista, direttore della fotografia, scenografi, costumisti e altri professionisti a rappresentare e condividere la loro visione sull’opera audiovisiva.

L’ultimo Dogma

“L’uso del digitale al posto della pellicola tuttavia era una scelta comune a quasi tutti i film del Dogma, perché il suo basso costo era considerato un mezzo di democratizzazione del cinema.”

Dogma 95 fu un movimento fondato a metà degli anni ’90 da Lars Von Trier e altri registi danesi che propugnava un ritorno a un cinema più essenziale e meno artificioso.

Fonte: Il Post

Porsche?

László Gaál ha pubblicato su Reddit questa finta pubblicità Porsche, creata interamente (per la parte video) con Veo2 (a cui ha evidentemente accesso anche se Google non l’ha ancora reso pubblico). Afferma che ci ha messo tre settimane per realizzarlo. Il montaggio, la musica, la voce sono “tradizionali”. Anche la parte del “dietro le quinte” dello spot è realizzata con Veo2.
L’autore è chiaramente un professionista però, se quanto afferma è vero, lo spot è stato realizzato da una sola persona.

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.

Il Sacro Graal dell’IA nel cinema è sicuramente la possibilità di prevedere gli effetti delle storie sull’audience (e sul box office…)
Da mesi stiamo sperimentando i neonati Subpopulation Representative Models (SRMs) per simulare il pubblico con film screenings sintetici. Per far funzionare il tutto sono servite tecniche avanzate di emulazione emotiva che i LLMs tradizionali faticano a riproporre. I risultati si iniziano a vedere…

Anche le produzioni indipendenti possono accede a insight di valore, derivati da ricerche di mercato sintetiche che rivaleggiano con i sofisticati strumenti data-driven dei colossi dell’audiovisivo. Con le giuste simulazioni, ogni creator ha l’opportunità di ottimizzare il proprio contenuto per il pubblico giusto, rivoluzionando il processo decisionale e rendendolo accessibile a chiunque.

Se i re-rolling rates (cioè quante volte devo usare il modello prima di avere l’output che mi interessa) per tutti gli attuali modelli generativi di video sono di 1:50 o addirittura 1:100 questo genere di strumento, per ora, può essere utilizzato solo per generazioni integrative e costose da realizzare tradizionalmente. (Per non parlare delle risoluzioni scadenti e degli output in H264 totalmente inutilizzabili per la post-produzione…)

A proposito di text-to-video

In quest’ottica qui, i 200 euro per Sora ed i prezzi elevati delle altre piattaforme non hanno senso economico per l’utente finale. Queste aziende lo sanno e vivono di hype. Non fatevi fregare, utilizzate le API e servizi cloud come Replicate per eseguire i modelli solo per le generazioni che vi servono (a prezzi inferiori tra l’altro!):
Haiper Video 2 (0,25$ per 5s di video)

Mochi 1 (0,41$ per 5s di video)
Dream Machine (0,45$ per 5s di video)
Minimax Video 01 (0,50$ per 5s di video)
Hunyuan Video (0,69$ per 5s di video)

Little flower

“Fiorello ha incantato il pubblico londinese con un piccolo show di due minuti e mezzo: grazie all’Intelligenza artificiale si è espresso in un inglese perfetto.” Aldo Grasso, Corriere.it

Esempio di ampliamento dell’audience di contenuti originariamente non in lingua inglese doppiati con le voci originali.

AI Entertainment Studios

Invisible Studio, Promise, EDGLRD, TCL Studio sono solo alcuni degli studios AI-based che stanno nascendo negli States. Così come Secret Level, che ha realizzato il controverso spot di Natale della Coca Cola.

Sebbene incentrati sull’Intelligenza artificiale e sul suo utilizzo in ogni fase creativa e produttiva, queste case di produzione di nuova generazione si avvalgono anche di sceneggiatori, attori, tecnici, compositori ecc.
Le tecniche tradizionali come il live-action, l’animazione e gli effetti di post-produzione sono ibridati con gli strumenti IA. Questi, in particolare quelli generativi, stanno ristrutturando la pipeline di produzione convenzionale che ora tende a un “post-to-pre (production)”: la visualizzazione anticipata consente di vedere e iterare immediatamente gli elementi visivi che altrimenti avrebbero dovuto attendere fino alle riprese o agli effetti visivi di post-produzione per il rendering CG.

Fonte: Variety VIP

Immagine creata con Flux via Replicate

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.

Uno studio commissionato da CISAC (Confederazione Internazionale delle Società di Autori e Compositori, che rappresenta oltre 5 milioni di creativi) e condotto da PMP Strategy prevede che il mercato della IA generativa passerà dai 3 miliardi di dollari attuali ai 64 miliardi nel 2028, con ricavi nell’ordine di 6 miliardi.
Ma nel settore audiovisivo le perdite di ricavi per i singoli creativi potrebbero aggirarsi intorno al 21%.

“I traduttori e gli adattatori per il doppiaggio e il sottotitolaggio saranno quelli che subiranno l’impatto più forte, con il 56% dei loro ricavi a rischio, mentre sceneggiatori e registi potrebbero vedere i loro ricavi cannibalizzati dal 15 al 20%.”

Date queste previsioni, lo studio raccomanda urgenti misure di regolamentazione dell’IA generativa.

Fonte: Finance Yahoo!

A proposito di regolamentazione

Lo scorso ottobre l’European Audiovisual Observatory (EAO) ha prodotto un report dal titolo “AI in the Audiovisual Sector: Navigating the Current Legal Landscape “.
Si tratta di un’analisi delle criticità e delle zone grigie che l’IA, in particolare generativa, ha prodotto nel settore audiovisivo in termini di copyright, regolamentazione, privacy, impatto su lavoro e occupazione.

Tra le questioni prese in considerazione vi sono:
– il confine tra uso legittimo (fair use) e violazione del copyright, soprattutto in contesti di estrazione di dati (text e data mining) per la creazione dei dataset di addestramento dei modelli
– l’incertezza giuridica sugli output generati dall’IA e la loro classificazione come opere derivate.
– accordi tra società di produzione, editori, singoli per utilizzo – autorizzato e remunerato – a fini di addestramento IA dei loro contenuti.

Un nuovo genere

Una startup diventa casa editrice solo di titoli scritti dall’IA. Immagino arriveranno anche case di produzione che realizzeranno solo corti e lungometraggi realizzati con TTV (text-to-video) e etichette discografiche solo per musiche e canzoni TTA (text-to-audio).
E se li considerassimo semplicemente un nuovo genere di contenuti, come a suo tempo sono stati i giornali, i fumetti, l’animazione, la musica leggera?
Non soppianteranno quelli già esistenti, li affiancheranno.

Fonte: The Bookseller

Sempre più text-to-video

La nuova versione del modello di generazione video di Luma sembra essere molto performante. I video, secondo l’azienda, possono essere creati attraverso una conversazione “naturale”, senza complessi prompt, con la possibilità di ispirare il modello con immagini, colori, texture e altri input visuali. Si assicura che con una sola immagine di riferimento si può mantenere la persistenza di un personaggio attraverso i video.

Ma anche Runway, Stability, il nuovo modello open Genmo stanno affinando i loro modelli TTV.

Avverte però il nostro Mateusz Miroslaw Lis: “tutti i modelli fino ad oggi producono contenuti a 8bit in .png o .mp4, formati che non hanno spazio nelle produzioni professionali.”

Fonte: Venture Beat

“Prompt”

Arte, il canale tematico franco-tedesco, proporrà a dicembre “Prompt”, una serie di mini-fiction realizzate dall’illustratore Jocelyn Collages utilizzando anche l’IA generativa.

Nella presentazione, Arte afferma: “L’intelligenza artificiale è dirompente e disorientante, ma gli esseri umani sono agili. Tocca a entrambi conoscersi, a costo di malintesi, incomprensioni e perfino incidenti relazionali che sono il sale della serie.”

Fonte: freenwes.fr

Immagine di copertina tratta dai corti “Prompt” di Jocelyn Collages.

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.

Cross-over tra società di IA e case di produzione

Lionsgate, la casa di produzione di film e saghe come Hunger Games e John Wick, ha stretto un accordo con Runway, la piattaforma per video generativi.
“Le aziende affermano che il nuovo modello sarà “personalizzato per il portafoglio proprietario di contenuti cinematografici e televisivi di Lionsgate” ed esclusivo per lo studio. Lo scopo sarà quello di “aiutare Lionsgate Studios, i suoi registi, registi e altri talenti creativi ad aumentare il loro lavoro”.”

La stessa Runway continua la sua politica “aggressiva” verso l’industria cinematografica lanciando l’Hundred Film Fund: finanziamenti per 100 progetti cinematografici potenziati dall’Intelligenza Artificiale.
Con grant da 5.000 dollari fino a 1M$+ e 2M$ in crediti Runway, l’iniziativa punta a ridefinire la narrazione cinematografica nell’era dell’IA
Sono ammessi tutti i formati (lungometraggi, cortometraggi, documentari, progetti sperimentali, video musicali, ecc.) a condizione che il progetto cinematografico sia già in corso e utilizzi Runway.

Meta (Facebook) ha dichiarato di aver collaborato con Blumhouse Productions, la società di Hollywood dietro a film horror popolari come “The Purge” e “Get Out”, per mettere alla prova il suo nuovo modello video AI generativo Movie Gen.

Fonti: Hollywood Reporter, IndieWire, Reuters

“L’introduzione del sonoro nei film è una tragedia.”

Molti addetti ai lavori, compreso Chaplin, disdegnarono a lungo il sonoro, introdotto negli anni ’30.
Il professor Tomas Elliott, della Northeastern University di Londra ricorda: “C’era il timore che l’introduzione del sonoro avrebbe sminuito l’espressionismo artistico puramente visivo del mezzo, che avrebbe intaccato l’unicità del cinema, che avrebbe creato un’esperienza visiva senza pari nelle altre arti”.

I Tears for Fears, il duo che ascoltavamo negli anni ’80 (chi c’era si ricorderà, tra le altre canzoni, “Shout”, “Everybody wants to rule the world”, “Sowing the seeds of love”), riflette sulle analogie tra quel periodo e quello odierno riguardo l’uso delle nuove tecnologie.

“La tecnologia ha cambiato tutto in quel periodo ed è interessante vedere le somiglianze con ciò che sta accadendo ora con l’IA. Così come i sintetizzatori negli anni ’80 ci hanno permesso di fare musica senza una band, riproducendo ogni strumento, adesso si riescono realizzare altre cose senza bisogno che ci siano delle persone a farle. E così come oggi veniamo criticati per l’uso dell’AI, all’epoca ci criticavano perché usavamo la tecnologia».”

Fonti: Northeastern Global News, corriere.it

Varietà di pareri

Qualche giorno fa il Variety Entertainment and Technology Summit 2024 ha esplorato le intersezioni tra tecnologia e industria dell’intrattenimento, toccando temi come il podcasting, l’intelligenza artificiale e il futuro dello storytelling. L’evento ha riunito leader di aziende come Google, Warner Bros., Disney, DC Studios, Nvidia e Pinterest.
Alcune riflessioni dei partecipanti:

– Victoria Bousis, filmmaker, ha affermato che l’intelligenza artificiale ha rivoluzionato il suo approccio al processo creativo, evidenziando l’intersezione tra tecnologie emergenti e aree quali sviluppo visivo, modellazione 3D, ingegneria del suono e altro ancora. “Fa emergere la bellezza e dà profondità alla tua narrazione.”
– Michael Wise, CTO di Universal, ha sottolineato l’importanza di affrontare le questioni fondamentali legate all’IA. “Dobbiamo sistemare la parte di proprietà intellettuale e copyright. Non avremo un’industria se i copyright non saranno efficaci. Dobbiamo sistemare la parte etica.”
– Abi Ashok di Expedia Group ha enfatizzato che l’IA dovrebbe potenziare, non sostituire, i creativi. “Se non eri minacciato da PhotoShop, non dovresti essere minacciato dall’IA.”

Fonte: Variety

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.

Immagine di copertina tratta dal film di Florian Frerichs “Traumnovelle”.

Linee guida sull’IA dai documentaristi americani

I documentaristi americani hanno pubblicato un documento sulle regole per l’utilizzo delle IA nei loro lavori.
Le principali linee guida sono:

– Trasparenza: Le linee guida sottolineano l’importanza della trasparenza, affermando che il pubblico deve essere informato su ciò che sta vedendo e ascoltando, sia che si tratti di media autentici o generati da IA.
– Etica nell’uso dell’IA: Gli autori sono incoraggiati a riflettere attentamente sull’uso dell’IA, in particolare quando si tratta di imitare o rappresentare persone reali. Ciò include considerazioni culturali e il rispetto per le eredità familiari.
–Tracciamento dei contenuti: È previsto l’uso di fogli di tracciamento per documentare ogni utilizzo di IA in un documentario. Questi fogli devono includere dettagli come il prompt utilizzato, la data di generazione, la versione del software e lo stato del copyright delle fonti di riferimento.

Fonte: Nieman Lab

Sogni generati

“È stato un grande lavoro da parte del nostro team; non è che abbiamo semplicemente detto all’IA, “fai questo e quello”, e voilà. Ci sono voluti, in realtà, sei mesi di ricerca e di tentativi”, spiega il regista. “Tanti tentativi ed errori, sollecitazioni. Abbiamo imparato l’arte della sollecitazione negativa, che è ancora più importante: dirle cosa non fare invece di dirle cosa fare. Quindi è stata un’esperienza molto, molto particolare in post-produzione dare vita a questa sequenza onirica, che altrimenti non avremmo potuto filmare con un budget così ridotto.” Il regista Florian Frerichs sulla realizzazione di una sequenza onirica con l’IA generativa per il suo fiilm “Traumnovelle” (tratto come “Eyes Wide Shut” di Kubric dal racconto “Doppio sogno” di Arthur Schnitzler).

Fonte: Hollywood Reporter

L’audiovisivo compra IA

Lo studio cinematografico e televisivo XTR, nominato agli Oscar, ha acquisito Late Night Labs, startup audiovisiva basata sull’IA. Questa acquisizione segna l’inizio di una tendenza in cui le case di produzione iniziano ad inglobare aziende e startup specializzate in Intelligenza Artificiale

XTR sta creando una nuova holding chiamata Asteria Film Co., che si concentrerà sulla produzione di animazione, fiction e documentari, oltre a gestire la piattaforma di streaming Documentary+. Asteria Film Co. prevede di presentare i suoi primi progetti entro la fine dell’anno.

Fonte: Variety

L’orrore latente

Un film dedicato a HP Lovecraft, il grande maestro dell’horror, fatto con l’IA generativa. È “Telepathic Letters” (in originale Cartas Telepáticas) del regista portoghese Edgar Pêra, fuori concorso al festival di Locarno.

“Credo che un artista debba avere un’identità, una voce, ma se fai film con un solo stile, l’AI userà il tuo stile. Questo succedeva anche prima dell’AI, e si chiama plagio. O un omaggio”

Fonte: Wired Italia

Originariamente pubblicato sul sito di SophIA – Laboratorio cine-audiovisivo di Intelligenza Artificiale.