Scott Mann had een probleem: te veel F-bommen.
De schrijver-regisseur had de productie van ‘Fall’ doorgegeven, zijn duizelingwekkende thriller over klimmers die bovenop een afgelegen tv-toren vastzaten, en moedigde de twee hoofdrolspelers aan om plezier te hebben met hun dialoog. Deze improvisatie zorgde voor 35 “f-cks” in de film, waardoor deze stevig in het R-rated gebied terechtkwam.
Maar toen Lionsgate zich aanmeldde om “Fall” te distribueren, wilde de studio een PG-13-bewerking. Het desinfecteren van de film zou wrijven betekenen allen behalve een obsceniteiten.
“Hoe los je dit op? Mann herinnerde zich uit de met glas omhulde vergaderruimte van zijn kantoor in Santa Monica in oktober, twee maanden na het debuut van de film. Een giersteun die hij op de set had opgeëist, stond in de hal.
Reworks zijn immers duur en tijdrovend. Mann had “Fall” bovenop een berg gefilmd, legde hij uit, en had niet alleen tegen COVID gevochten, maar ook tegen orkanen en onweersbuien. Op een gegeven moment had een kolonie vuurmieren zijn intrek genomen in de hoofdset van de film, een dertig meter lange metalen buis; toen de bemanning hen wakker maakte, omhulde de zwerm de set “als een wolk”.
“‘Fall’ was waarschijnlijk de moeilijkste film die ik ooit heb gemaakt,” zei Mann. Kan het een redux voorkomen?
De oplossing, besefte hij, zou wel eens een project kunnen zijn dat hij samen met de film had ontwikkeld: kunstmatig intelligente software die beelden van de gezichten van acteurs kon bewerken lang nadat de hoofdfotografie was beëindigd, waardoor hun gezichtsuitdrukkingen en mondbewegingen drastisch werden aangepast aan de nieuw opgenomen dialoog.
“Fall” is gedeeltelijk bewerkt met behulp van software die is ontwikkeld door Flawless, het bedrijf voor kunstmatige intelligentie van regisseur Scott Mann. (Met dank aan Flawless)
Het is een bedrieglijk eenvoudig gebruik van een technologie die volgens experts klaar staat om bijna elke dimensie van Hollywood te transformeren, van werkdynamiek en financiële modellen tot hoe het publiek denkt over wat waar of onwaar is.
Kunstmatige intelligentie zal met bewegende beelden doen wat Photoshop deed met stilstaande beelden, zei Robert Wahl, een universitair hoofddocent informatica aan de Concordia University, Wisconsin, die heeft geschreven over CGI-ethiek, in een e-mail. “We kunnen niet langer volledig vertrouwen op wat we zien.”
Een softwareoplossing voor dubieuze nasynchronisatie
Er was een bijzonder verontrustende samenwerking met Robert De Niro voor nodig om Mann in de wereld van software te duwen.
De Niro speelde in Mann’s misdaadthriller “Heist” uit 2015 en de twee hebben veel tijd en aandacht besteed aan het optreden van de veelgeprezen acteur. Maar toen het tijd werd om de film aan te passen voor buitenlandse releases, zei Mann, was hij niet tevreden.
Wanneer de films in het buitenland worden uitgebracht, worden de dialogen vaak opnieuw opgenomen in andere talen. Dit proces, “nasynchronisatie” genoemd, maakt de film internationaal toegankelijk, maar kan ook leiden tot de schokkende aanblik van de mond van een acteur die niet synchroon loopt met de woorden die hij zou moeten zeggen. Een typische oplossing is om de dialoog te herschrijven zodat deze beter overeenkomt met de reeds bestaande beelden – maar voor de leesbaarheid offeren deze veranderingen de oorspronkelijke visie van het creatieve team op.
“Alle dingen waar ik met Robert De Niro in nuance aan had gewerkt, zijn nu veranderd”, zei Mann over de voice-overs. “Ik was een beetje kapot.”
Een vervolgfilm waaraan hij werkte, “Final Score”, verdiepte die frustraties. Mann probeerde de hoofden van zijn acteurs te scannen om hun spraak beter te synchroniseren, maar het proces bleek onbetaalbaar en het eindresultaat zag er vreemd uit.
Alleen door te zoeken naar meer innovatieve oplossingen vond de liefhebber van visuele effecten een 2018 academisch document een mogelijke oplossing beschrijven: neurale netwerken of computerprogramma’s het nabootsen van de structuur van een brein, dat probeerde de gezichtsuitdrukking van een acteur om te zetten in het gezicht van een ander.
Gefascineerd nam Mann contact op met de auteurs van het artikel en begon met een aantal van hen samen te werken aan een rudimentaire “vubbing”-tool – dat wil zeggen visuele nasynchronisatie in plaats van audio. De latere toevoeging van Nick Lynes, een vriend van een vriend met een achtergrond in online gaming, gaf het team ook voet aan de grond in de technische sector.
Gezanten uit drie heel verschillende werelden – film, wetenschap en de software-industrie – hebben samen Flawless gebouwd, een door AI aangedreven filmbedrijf met kantoren in Santa Monica en Londen.
In zeer algemene termen kan de technologie van het bedrijf patronen identificeren in de fonemen van een acteur (of de geluiden die ze maken) en visemes (of hoe ze klinken als ze die geluiden maken), en vervolgens – wanneer ze worden gepresenteerd met nieuw opgenomen fonemen – op het scherm bijwerken visemen te evenaren. Vorig jaar Time magazine rechter de “fix voor nasynchronisatie van films”, een van de beste uitvindingen van 2021.
De haast om tientallen F-bommen van “Fall” op te ruimen, stelde echter een vraag met potentieel veel bredere vertakkingen: in plaats van alleen de taal te veranderen die karakters spreken, zou Flawless de inhoud kunnen veranderen van dit wat zeiden ze?
“We gingen met de actrices naar een opnamestudio in … Burbank en zeiden: ‘Oké, hier zijn de nieuwe regels'”, zei Mann, die in Los Angeles woont. Vervolgens stopten ze de nieuwe audio in vubbing-software, die de gezichtsbewegingen van de sterren op het scherm daarop aanpaste.
“We hebben de plannen ingediend, de MPAA heeft het beoordeeld en PG-13 gegeven, en dat is wat er in theaters gebeurde”, zei hij.
Zittend in zijn directiekamer in Santa Monica enkele weken na de release van de film, omringd door posters voor “Blade Runner” en “2001: A Space Odyssey”, toonde Mann de resultaten met een scène waarin de een van de hoofdrolspelers van “Fall” klaagt hun moeilijke situatie.
“Nu zitten we vast in deze stomme toren in de middle of nowhere!” riep Virginia Gardner uit tegen Grace Caroline Currey terwijl de twee ineengedoken op een wankel platform zaten.
Virginia Gardner en Grace Caroline Currey in “Herfst”.
(Leeuwenpoort)
Even later speelde Mann de scène opnieuw. Maar deze keer was de dialoog van Gardner merkbaar harder: “Nu zitten we vast op deze verdomde stomme toren in het midden van nergens.”
De eerste versie kwam uit in augustus meer dan 1.500 Amerikaanse bioscopen. Maar de laatste – degene met een zeemanswaardige dialoog – was wat Mann eigenlijk filmde op die bergtop vol vuurmieren. Als je niet wist dat een neuraal netwerk de gezichten van de acteurs reconstrueerde, had je waarschijnlijk geen idee dat hun opgeschoonde dialoog een late toevoeging was.
“Je kunt niet zeggen wat echt is en wat niet,” zei Mann, “dat is alles.”
De ethiek van synthetische stoffen
In de bioscoop heeft dit realisme duidelijke voordelen. Niemand wil geld uitgeven aan iets dat eruit ziet alsof het van MS Paint komt.
Maar de opkomst van software die op transparante wijze kan veranderen wat iemand lijkt te hebben gezegd, heeft grote gevolgen voor een mediaomgeving die al overspoeld wordt met verkeerde informatie. Het hoofdproduct van Flawless is tenslotte in wezen een meer legitieme versie van “diepe vervalsingenof CGI die iemands gezicht en stem imiteert.
Het is niet moeilijk je een trol voor te stellen die, in plaats van deze tools te gebruiken om scheldwoorden uit een film te knippen, een virale video maakt van Joe Biden die Rusland de oorlog verklaart. Porno gemaakt met iemands digitale gelijkenis heeft dat ook een probleem worden.
En Flawless is niet het enige bedrijf dat op dit gebied actief is. Papercup, een bedrijf dat synthetische menselijke stemmen genereert voor gebruik in dubs en voice-overs, heeft tot doel “elke video in elke taal te bekijken”, vertelde topman Jesse Shemen aan The Times.
En steunpilaar voor visuele effecten Digital Domain gebruikt machine learning om acteurs weer te geven in gevallen waarin ze zelf niet kunnen verschijnen, zoals scènes die een stuntdubbel vereisen, zei Hanno Basse, chief technology officer.
Terwijl deze en andere bedrijven de entertainmentindustrie steeds meer automatiseren, zijn er veel ethische vragen.
Hollywood vertrouwt al op zijn nieuwe mogelijkheid om dode acteurs digitaal opnieuw te creëren De stem van Anthony Bourdain in de documentaire “Roadrunner” of Peter Cushing en Carrie Visser in recente ‘Star Wars’-sequels. Holografische wekkers overleden beroemdheden zijn nu ook mogelijk.
De digitaal gewijzigde dialoog “dreigt de instemming van degenen die er oorspronkelijk bij betrokken waren in gevaar te brengen”, zegt Scott Stroud, directeur van de Universiteit van Texas bij Austin’s media-ethiekprogramma. “Wat de acteurs dachten dat ze oké vonden, is niet letterlijk wat er is gemaakt.”
En deze technologie zou de deur kunnen openen voor filmveranderingen lang nadat ze zijn uitgebracht, zei Denver D’Rozario, een marketingprofessor aan Howard University die de wederopstanding van dode acteurs in software heeft bestudeerd.
“Laten we zeggen … in een film drinkt een man een blikje Pepsi, en over 20 jaar krijg je een cola-sponsoring,” zei D’Rozario. “Verander je het blikje Pepsi in cola? “Wanneer kunnen we dingen veranderen? Wanneer kun je dingen kopen? »
Mann zei dat de voordelen van zijn technologie talrijk zijn, van het doorbreken van taalbarrières en het bevorderen van grensoverschrijdende empathie tot het besparen van spelers de hoofdpijn van herkansingen. Volgens hem vertegenwoordigen scenario’s zoals Coke’s hypothetische sponsoring van D’Rozario nieuwe inkomstenstromen.
Flawless is proactief geweest, voegde Mann toe, bij het creëren van een product dat authentieke menselijke prestaties ondersteunt in plaats van vervangt.
“Er is een manier om technologieën op dezelfde manier te gebruiken als de [visual effects] de industrie heeft al vastgesteld, namelijk: doe het veilig, doe het goed, doe het legaal, met instemming van alle betrokkenen”, zei hij.
En het bedrijf heeft al “alle grote vakbonden” ingeschakeld over hoe deze technologie verstandig te produceren en te gebruiken, vervolgde de directeur.
Vertegenwoordigers van SAG-AFTRA wezen erop dat AI-technologie voor het maken van films acteurs kan helpen of kwetsen, afhankelijk van hoe het wordt gebruikt.
“Technologieën die niet veel meer doen dan het werk van onze leden digitaal verbeteren, vereisen mogelijk eenvoudigweg de mogelijkheid om geïnformeerde toestemming te geven en mogelijk aanvullende compensatie”, zegt Jeffrey Bennett, algemeen adviseur van SAG-AFTRA, in een verklaring per e-mail. “Aan de andere kant van het spectrum bevinden zich technologieën die traditionele prestaties kunnen vervangen of de prestaties van onze leden kunnen overnemen en geheel nieuwe kunnen creëren; voor deze zijn ze volgens ons een verplicht onderwerp van onderhandeling.
Het is een trein die, in voor- en tegenspoed, het station al heeft verlaten.
“Fall” wordt momenteel gestreamd en Mann zei dat andere films waaraan zijn bedrijf heeft gewerkt deze kerst zullen worden uitgebracht – hoewel hij ze nog niet publiekelijk kan noemen.
Als je tijdens de feestdagen een film ziet, heeft een AI mogelijk geholpen deze te maken.
Kun je het vertellen? Maakt het uit?