Conference PaperPDF Available

The role of AI tools in production phases of audiovisual production (Slovak)

Authors:

Abstract

This article examines the transformative impact of artificial intelligence (AI) tools in audiovisual production. It focuses on the functionality of selected software related to scriptwriting, storyboarding, voice commentary, sound design, video generation, and postproduction. Through a comprehensive literature review and testing of various applications, it explores cutting-edge tools such as Storyboarder, AIVA, and Runway. Findings highlight significant improvements in efficiency and creativity while addressing challenges and future trends. This study underscores the crucial role of AI in revolutionizing audiovisual workflows and offers insights into its potential for shaping the industry’s future.
Recenzovaný sborník příspěvků
interdisciplinární mezinárodní vědecké konference
doktorandů a odborných asistentů
QUAERE 2024
roč. XIV.
24. – 26. června 2024
Hradec Králové, Česká republika
QUAERE
Mezinárodní vědecká konference | International Scientific Conference
Výbor konference | Conference Committee | Reviewed by
Ing. Jiří Králík, Ph.D. - předseda výboru (kancelar@magnanimitas.cz)
Prof. dr hab. Jerzy Olszewski - Uniwersytet Ekonomiczny w Poznaniu, Polska.
Prof. dr hab. Włodzimierz Szpringer - Uniwersytet Warszawski, Polska.
Prof. dr hab. Marzanna Poniatowicz - Uniwersytet w Białymstoku, Polska.
Assoc. Prof. Martina Blašková, PhD. - University of Žilina, Slovak Republic.
Prof. Vladimiras Gražulis, DrSc. - Mykolas Romeris University, Lithuania.
Prof dr hab. Barbara Kryk - Uniwersytet Szczeciński, Polska.
Assoc. Prof. PhD. Jolita Vveinhardt - Vytautas Magnus University, Lithuania.
Assoc. Prof. Miloš Hitka, PhD - Technical University in Zvolen, Slovak Republic
Prof dr hab. Sylwia Pangsy - Kania Uniwersytet Gdański, Polska.
Prof. dr hab. Dorota Simpson - Uniwersytet Gdański, Polska.
Prof. zw. dr hab. Krystyna Lisiecka - Uniwersytet Ekonomiczny w Katowicach
Ass. Prof. Sándor Gyula Nagy - Corvinus University of Budapest, Hungary.
Prof. Ing Milota Vetráková, CSc. - Matej Bel University Banska Bystrica, Slovak Republic.
Prof. dr hab. Leon Tadeusz Dyczewski OFM Conv - Katolicki Uniwersytet Lubelski, Polska.
Assoc. Prof. Egle Stonkute, PhD. - Vytautas Magnus University, Lithuania.
doc. PaedDr. Daniela Valachová, PhD. - Univerzita Mateja Bela.
Assoc. Prof. Aleksey Khlopytskyi PhD. - Ukrainian State University of Chemical Technology, Ukraine.
doc. Ing. Ivana Rábová, Ph.D. - Mendelova univerzita v Brně.
doc. PhDr. Ľubica Derňarová, PhD., MPH - proděkanka pre VaVČ, Prešovská univerzita.
doc. PhDr. et PhDr. Martin Kaleja, Ph.D. - Slezská univerzita v Opavě.
Assoc. Prof. doc. Edita Hornáčková Klapicová, PhD. - SS Cyril and Methodius University.
PhDr. Iveta Ondriová, PhD. - Prešovská univerzita v Prešove, Slovak Republic.
PhDr. Terézia Fertaľová, PhD. - Prešovská univerzita v Prešove, Slovak Republic.
Tomasz Kołakowski, Ph.D. - Wrocław University of Economics, Polska.
Assoc. Prof., JUDr. Ladislav Rozenský, Ph.D, DBA - Middle West University, Czech republic.
Doc. Ing. Patrik Richnák, PhD. - University of Economics in Bratislava, Slovakia.
Odborné sekce konference | Conference Sessions
Management, marketing | Management, marketing; Ekonomika, bankovnictví, pojišťovnictví | Economy, Banking, Insurance
Management; Veřejná správa a makroprocesy | Public Administration, Macroprocesses; Přírodní vědy | Natural Sciences;
Psychologie, sociologie, pedagogika | Psychology, Sociology, Pedagogy; Informatika | Informatics; Technologie,
strojírenství, stavebnictví | Technologies, Engineering, Building Industry; Filosofie, dějiny, právo | Philosophy, History, Law
Editor, úprava, realizace | Edit, Published by:
© MAGNANIMITAS, Hradec Králové, Česká republika, 2024
Magnanimitas, Hradec Králové, 2024
ISBN 978-80-87952-40-5
Upozornění | Warning:
Všechna práva vyhrazena. Rozmnožování a šíření této publikace jakýmkoliv způsobem bez výslovného písemného
svolení vydavatele je zakázané. | All rights reserved. Unauthorized duplication is a violation of applicable laws.
Certifikovaná vědecká konference | Certificate Conference No.: 2459662355
MAGNANIMITAS Assn. International and ECONFERENCE
is a signatory of Berlin declaration on Open Access
to knowledge in the sciences and humanities.
(http://openaccess.mpg.de/3883/Signatories/)
for SCIEMCEE (https://oa2020.org/mission/#other)
QUAERE 2024
MEZINÁRODNÍ VĚDECKÁ KONFERENCE | INTERNATIONAL SCIENTIFIC CONFERENCE
PARENTAL INFLUENCE ON THE EMERGENCE AND DEVELOPMENT OF CODEPENDENCY
Anastasiia Zelenska
581
POJĘCIE AUTYSTYCZNEGO WZORCA FUNKCJONOWANIA (AWF) (EWENTUALNIE TAKŻE ROZWOJU (AWR)) W
KONTEKŚCIE ZABURZENIA ZE SPEKTRUM AUTYZMU (ASD). PODOBIEŃSTWA, RÓŻNICE I ZASTOSOWANIE W
RÓŻNYCH OBSZARACH PORADNICTWA
Renata Stefańska-Klar
587
TEMNÁ TRIÁDA V KONTEXTE PARTNERSKÝCH VZŤAHOV V MLADEJ DOSPELOSTI
Iveta Schusterová, Sára Podhradská
597
ŽIVOTNÁ SPOKOJNOSŤ A SEBAHODNOTENIE MLADÝCH DOSPELÝCH V SÚVISLOSTI S POUŽÍVANÍM
SOCIÁLNYCH SIETÍ
Iveta Schusterová, Natália Opálková
608
AKTIVIZUJÚCE METÓDY VYUČOVANIA PODPORUJÚCE ROZVOJ KRITICKÉHO MYSLENIA ŽIAKOV
Zuzana Strenáčiková
618
A VALUES BASE FOR THE NORWEGIAN KINDERGARTEN: MUTUAL RESPECT, EQUALITY, LINGUISTIC AND
CULTURAL DIVERSITY
Marie Bajnarová
625
OVERLAPPING OF DEVELOPMENTAL DOMAINS – RISK AND PROTECTIVE PERSPECTIVE
Daniela Mitríková, Natália Dovalovská, Kristína Cagáňová
632
DIGITAL LITERACY FOR THE 21ST CENTURY IN THE CONTEXT OF LIFELONG LEARNING
Eva Janouchová
641
ENCODING EMOTIONS INTO TV NEWS HEADLINES
Patrícia Nagyová, Zora Hudíková
647
MS V HOKEJI OPTIKOU ŠPORTOVÝCH PODCASTOV
Matej Čalfa, Ľudovít Hajduk
659
VI. INFORMATIKA | INFORMATICS
CONTRIBUTION TO COMPUTER SIMULATION OF MECHANISMS
Darina Hroncová, Erik Prada, Leo Brada, Ľubica Miková, Bianka Ondrejšíková, Boris Dinič
670
ANALYSIS OF JANSEN´S LINKAGE-BASED MOVEMENT
Leo Brada, Ľubica Miková, Darina Hroncová, Erik Prada, Peter André, Lukáš Leštach
680
MULTITASKING IN THE AI ERA
Klára Zubková
690
VII. TECHNOLOGIE, STROJÍRENSTVÍ, STAVEBNICTVÍ | TECHNOLOGIES, ENGINEERING, BUILDING
INDUSTRY
OPPORTUNITIES FOR USE OF DIGITAL MANUFACTURING FOCUSING ON ADDITIVE TECHNOLOGIES IN THE
RAILWAY INDUSTRY
Václav Nebeský, Jaromír Tichý
702
ANALYSIS OF MICRO GEARS APPLIED IN ENGINEERING PRACTICE
Daniela Kepeň Harachová
709
DESIGN AND CONSTRUCTION OF AN ACTUATOR BASED ON ANTAGONISTICALLY OPERATING NITINOL
SPRINGS
Jaroslav Romančík, Ondrej Majerčák, Marek Vagaš
717
THE USE OF SMART CONDITION MONITORING SYSTEM IN ANOMALY DETECTION
Róbert Rákay, Patrik Šarga
724
COMPARATIVE ANALYSIS OF IOT PLATFORMS
Patrik Šarga, Róbert Rákay
733
ÚLOHA NÁSTROJOV UMELEJ INTELIGENCIE PRI PRODUKČNÝCH FÁZACH AUDIOVIZUÁLNEJ PRODUKCIE
Matúš Višváder, Ján Proner
742
SINGULARITY ANALYSIS OF THE PLANAR PARALLEL MECHANISM USING SCREW THEORY
Mária Michalková, Branislav Ftorek
755
MATHEMATICAL MODEL OF UNMANNED GROUND VEHICLE
Bui Viet Dung, Martin Macko, Zbynek Krist, Tranh Dinh Dung, Do Quoc Vi, Pham Huu Nguyen
765
KOMPARATÍVNA ANALÝZA VODÍKOVÝCH A BATÉRIOVÝCH ELEKTROMOBILOV V CESTNEJ DOPRAVE
Matej Barát, Miroslav Kubík, Stanislav Ďuriš
772
- 7 -
ÚLOHA NÁSTROJOV UMELEJ INTELIGENCIE PRI
PRODUKČNÝCH FÁZACH AUDIOVIZUÁLNEJ PRODUKCIE
THE ROLE OF AI TOOLS IN PRODUCTION PHASES OF
AUDIOVISUAL PRODUCTION
Matúš Višváder, Ján Proner
Abstrakt
Článok skúma transformačný vplyv nástrojov umelej inteligencie (AI) v audiovizuálnej
produkcii. Zameriava sa na funkcionalitu vybraných softvérov so zameraním na tvorbu
scenárov, storyboardov, hlasového komentára, zvukový dizajn, generovanie a postprodukciu
videa. Prostredníctvom komplexného prehľadu literatúry a testovaním vybraných aplikácií
skúma najmodernejšie nástroje ako sú Storyboarder, AIVA a Runway. Zistenia poukazujú na
výrazné zlepšenie efektívnosti a kreativity, a zároveň sa zaoberajú výzvami a budúcimi
trendmi. Táto štúdia zdôrazňuje kľúčovú úlohu umelej inteligencie pri revolúcii v
audiovizuálnych pracovných postupoch a ponúka pohľad na jej potenciál pri formovaní
budúcnosti odvetvia.
Kľúčové slová: Nástroje AI, Audiovizuálna tvorba, Tvorba scenára, Úprava videa
Abstract
This article examines the transformative impact of artificial intelligence (AI) tools in
audiovisual production. It focuses on the functionality of selected software related to
scriptwriting, storyboarding, voice commentary, sound design, video generation, and post-
production. Through a comprehensive literature review and testing of various applications, it
explores cutting-edge tools such as Storyboarder, AIVA, and Runway. Findings highlight
significant improvements in efficiency and creativity while addressing challenges and future
trends. This study underscores the crucial role of AI in revolutionizing audiovisual workflows
and offers insights into its potential for shaping the industry’s future.
Key words: AI Tools, Audiovisual Production, Script Creation, Video Editing
1 ÚVOD DO NOVÝCH NÁSTROJOV V AUDIOVIZUÁLNEJ TVORBE
Audiovizuálny priemysel zahŕňa širokú škálu odvetví vrátane filmu, televízie, videohier,
virtuálnej reality a hudobnej produkcie. Tieto odvetvia zahŕňajú tvorbu, distribúciu
a konzumáciu obsahu, ktorý kombinuje zvukové aj vizuálne prvky. Z historického adiska
bol tento priemysel poháňaný technologickým pokrokom, ktorý postupne menil spôsoby,
akými sa obsah vytvára a konzumuje. Zavedenie synchronizovaného zvuku vo filmoch,
nástup farebnej televízie a vzostup digitálnych médií kľúčové míľniky, ktoré formovali
toto odvetvie. Nedávny technologický pokrok otvoril cestu integrácii umelej inteligencie (AI)
do rôznych aspektov audiovizuálnej produkcie. Technológie umelej inteligencie, ako
strojové učenie, neurónové siete a spracovanie prirodzeného jazyka, umožnili automatizáciu a
zlepšenie mnohých tvorivých procesov. Algoritmy AI dnes napríklad dokážu upravovať
- 742 -
videá, generovať špeciálne efekty a dokonca vytvárať originálne hudobné kompozície.1 Úloha
umelej inteligencie pri transformácii audiovizuálnej produkcie je významná a mnohostranná.
Umelá inteligencia môže výrazne zvýšiť efektivitu a kreativitu, pretože umožňuje rýchlu
úpravu záberov, realistické vykresľovanie virtuálnych prostredí a vytváranie
personalizovaného obsahu pre divákov. Analýzy riadené umelou inteligenciou môžu navyše
poskytnúť hlboký prehľad o preferenciách divákov, čo umožní cielenejšiu a efektívnejšiu
tvorbu obsahu. Potenciál umelej inteligencie revolučne zmeniť toto odvetvie spočíva v jej
schopnosti rozšíriť ľudskú kreativitu a zefektívniť výrobné procesy, čo v konečnom dôsledku
vedie k vyššej kvalite a pútavejšiemu audiovizuálnemu obsahu.2 V audiovizuálnej produkcii
sa dnes používa niekoľko nástrojov využívajúcich umelú inteligenciu, ktoré výrazne
zlepšujú rôzne fázy tvorivého procesu. Napríklad Storyboarder je populárny nástroj na rýchle
a efektívne vytváranie storyboardov, ktorý pomáha v predvizualizačnej fáze produkcie. AIVA
(Artificial Intelligence Virtual Artist) sa používa na komponovanie hudobných skladieb
prispôsobených konkrétnym náladám alebo scénam. Runway poskytuje sadu modelov
strojového učenia na úpravu videa, napríklad na odstraňovanie pozadia a prevod štylizácie,
ktoré možno bez problémov integrovať do kreatívnych pracovných postupov. V tomto článku
sa zameriame konkrétne na tieto menované nástroje nakoľko dostupné v našej krajine,
možno ich vyskúšať zadarmo, neustále aktualizované a je pravdepodobné, že v blízkej
budúcnosti budú integrované priamo do editačných programov a výrobných procesov.
2 METODIKA
Hlavnou témou štúdie je skúmať súčasný vplyv transformačných nástrojov umelej
inteligencie v audiovizuálnej tvorbe a ich využitie v praxi. V kontexte ukotvenia
problematiky, článok v úvode otvára otázku vývoja audiovizuálnej tvorby v priebehu
posledných desaťročí po súčasnosť. Najmä z pohľadu produkcie a postprodukcie s
využitím umelej inteligencie. Následne logicky prechádza na konkrétne nástroje umelej
inteligencie, ktoré dokážu automatizovať zdĺhavé procesy tvorby audiovizuálneho diela.
Cieľom príspevku je v teoretickej rovine sumarizovať poznatky o súčasnom stave využívania
umelej inteligencie v konkrétnych aplikáciách. Zároveň v praktickej rovine poukázať na
vybrané funkcie daných aplikácií a demonštrovať ich funkcionalitu v rámci jednotlivých
postupov audiovizuálnej tvorby. Štúdia prináša aktuálne poznatky a praktické ukážky
využívania umelej inteligencie v praxi, ktoré sú dostupné pre široké spektru užívateľov.
V príspevku sme využili niekoľko vedeckých metód na dosiahnutie stanovených cieľov.
V teoretickej časti sme pracovali s dostupnými knižnými či online zdrojmi. Štúdia využíva
experimentálny výskum, pričom priamo testujeme vybrané aplikácie s využitím umelej
inteligencie v audiovizuálnej tvorbe. V rámci analýzy sa výskum zameriava na konkrétne
nástroje a funkcionalitu s prepojením na prax. Experimentálny výskum systematicky testuje
tieto nástroje v konkrétnych prípadoch. Získané údaje deskriptívne analyzované a
prezentujú výhody, ale aj limity jednotlivých aplikácií. Výsledky práce poskyt komplexný
pohľad na transformačný vplyv umelej inteligencie v audiovizuálnej produkcii.
V mci výskumného materiálu sme zvolili nástroje, ktoré zamerané na jednotlivé fázy
tvorby audiovizuálneho diela. Súčasťou predprodukčnej fázy je aj tvorba storyboardu,
vizuálna referencia technického scenáru, ktorá pomáha vizualizovať dej príbehu vrátane
veľkosti záberov či pohybov kamier. Preto sme vybrali nástroj Storyboader.ai. V rámci
produkcie sme vybrali nástroj Runway, ktorý predstavuje prelomový nástroj v oblasti
audiovizuálnej tvorby, poskytujúc široké spektrum funkcií a modelov strojového učenia, ktoré
1 SOORI, M., AREZOO, B., DASTRES, R.: Artificial intelligence, machine learning and deep learning in
advanced robotics, a review. In: Cognitive Robotics, 2023, č. 3, s. 55
2 ZHANG, X., LI, Y., HAN, Y., WEN, J.: AI Video Editing: a Survey. Preprints, 2022. s. 2
- 743 -
výrazne zvyšujú efektivitu a kreativitu produkčných procesov. Runway sa využíva
predovšetkým na zvýšenie efektivity a automatizáciu rutinných a časovo náročný úloh. Do
pozornosti patria aj nové moduly AI, ktoré dokážu generovať audiálny obsah na základe
textového popisu alebo vizuálnej či zvukovej referencie. V rámci analýzy budeme nástroje
identifikovať a hodnotiť z hľadiska dostupnosti, ceny, funkcionality a efektívnosti v
porovnaní s klasickým produkčným procesom bez využitia AI.
3 ANALÝZA VYBRANÝCH NÁSTROJOV PRE AUDIOVIZUÁLNU TVORBU
V predprodukčnej fáze audiovizuálnej produkcie nástroje umelej inteligencie čoraz
nevyhnutnejšie. Tieto nástroje sa dajú využiť na rôzne úlohy vrátane písania scenára, tvorby
storyboardov, prieskumu lokácií a predvizualizácie. Softvér riadený umelou inteligenciou
môže napríklad analyzovať scenáre a poskytovať spätnú väzbu o štruktúre zápletky a vývoji
postáv, čím pomáha scenáristom zdokonaľovať ich prácu. Nástroje na tvorbu storyboardov,
rozšírené o AI, môžu automaticky generovať vizuálne reprezentácie scén na základe
vstupných údajov zo scenára, čo výrazne urýchľuje proces plánovania. Z AI môže profitovať
aj prieskum lokácií, pričom algoritmy dokážu analyzovať rozsiahle databázy obrázkov a nájsť
vhodné miesta na natáčanie, ktoré zodpovedajú vízii režiséra. Medzi pracovné pozície, ktoré
budú najviac využívať tieto nástroje AI, patria režiséri, scenáristi, tvorcovia storyboardov a
producenti, keďže tieto pozície sa vo veľkej miere podieľajú na plánovaní a vizualizácii
projektu pred začatím samotnej produkcie.3 V produkčnej fáze audiovizuálnej tvorby sa
nástroje umelej inteligencie čoraz viac využívajú na zlepšenie rôznych aspektov tvorivého
procesu vrátane filmov, hudobných klipov, obrazových či zvukových nahrávok aj animácií.
Technológie AI môžu zefektívniť úlohy, ako je generovanie špeciálnych efektov, zvukový
dizajn a animovanie či dokonca tvorba celých pohyblivých obrazov.4 V oblasti špeciálnych
efektov dokáže umelá inteligencia vytvárať realistické simulácie prírodných javov, ako
oheň, voda a výbuchy, ktoré by si tradične vyžadovali rozsiahlu manuálnu prácu. Ďalšou
oblasťou, kde nástroje AI výrazne ovplyvňujú zvukový dizajn, je samotná tvorba zvukov.
Umelá inteligencia môže pomáhať pri redukcii šumu, vylepšovaní zvuku a dokonca aj pri
komponovaní originálnych hudobných partitúr prispôsobených konkrétnym scénam.5 Z
umelej inteligencie profituje aj animovaná tvorba vďaka nástrojom, ktoré dokážu
automatizovať tvorbu medzisnímkov, zefektívniť úpravu postáv a zvýšiť celkovú plynulosť
animovaných sekvencií.6
V postprodukčnej fáze audiovizuálnej produkcie nástroje umelej inteligencie vstupujú do
činností vrátane strihu videa, úpravy farieb, zvukovej dramaturgie, vizuálnych efektov
a finalizácie projektu na distribúciu. Technológie umelej inteligencie môžu automatizovať
opakujúce sa úlohy, zlepšiť presnosť strihov a zaviesť nové kreatívne možnosti, ktoré boli
predtým časovo náročné alebo zložité. Strihový softvér poháňaný umelou inteligenciou
dokáže automatizovať organizáciu a strihanie klipov, odporúčať strihy na základe tempa a
analýzy scén a dokonca autonómne vytvárať hrubé strihy, čo výrazne pomáha strihačom
a editorom obrazových záznamov.7 Tieto nástroje AI nielen šetria čas, ale umožňujú aj vyššiu
3 HENRIKSEN, E.: How to Simplify Video Pre-prodcution Using AI. [online]. [02-06-2024]. Dostupné na:
<https://www.synthesia.io/learn/video-production/pre-production>.
4 GUPTA, A.: 5 AI tools that will save you 10+ hours on video production. [online]. [02-06-2024]. Dostupné
na: <https://api.video/blog/video-trends/ai-tools-video-production/> .
5 TRACKLIB: Complete List: The Best AI Music Production Tools. [online]. [02-06-2024]. Dostupné na:
<https://www.tracklib.com/blog/ai-music-production-tools>.
6 STRELKOV, I.: How Artificial Intelligence Changed Animation Forever. [online]. [02-06-2024]. Dostupné na:
< https://medium.com/lets-talk-ai/how-artificial-intelligence-changed-animation-forever-1c1aacc2b7f7>.
7 TAKYAR, A.: AI in media and entertainment:Use cases, benefits and solution. [online]. [02-06-2024].
Dostupné na: < https://www.leewayhertz.com/ai-in-media-and-entertainment/>.
- 744 -
úroveň presnosti a kreativity, vďaka čomu neoceniteľné nielen režisérov ale hlavne pre
strihačov, zvukových dizajnérov a animátorov.
Storyboarder.ai
Jedným z významných nástrojov AI v predprodukčnej fáze je Storyboarder. Storyboarder je
efektívna aplikácia určená na pomoc pri vytváraní storyboardov, kto nevyhnutné na
vizualizáciu toku rozprávania a pohybu kamery v projekte. Tento nástroj umožňuje
používateľom rýchlo a jednoducho kresliť scény, importovať scenáre na automatické
generovanie storyboardov a dokonca používať vopred pripravené šablóny na zefektívnenie
procesu. Program Storyboarder pomáha filmárom experimentovať s rôznymi vizuálnymi
štýlmi a kompozíciami bez potreby zdĺhavého ručného kreslenia, čo z neho robí neoceniteľný
prínos v počiatočných fázach produkcie.8 Tvorcom tohto nástroja je spoločnosť FYNAL,
ktorá je filmovou produkčnou spoločnosťou sídliacou v Nemecku. Autor tohto nástroja tvrdí,
že využíva pokročilé algoritmy umelej inteligencie na poskytovanie špičkového
automatizovaného riešenia pre tvorbu storyboardov. Dokáže vytvoriť kompletný príbeh
vrátane scenára, zoznamu záberov a storyboardu z jednoduchého nápadu opísaného len
dvoma vetami. Okrem toho generuje vysokokvalitné obrázky a ponúka funkcie ako inedit a
inpaint, teda úpravu individuálnych obrazov cez prompty alebo priame dokreslenia samotným
používateľom pre ďalšie zdokonalenie vizuálov. Používatelia ďalej môžu transformovať
jednotlivé obrázky alebo náčrty do vlastnej storyboardovej šablóny, nahrať existujúce scenáre
vo formáte PDF na automatické generovanie zoznamov záberov a storyboardov a exportovať
výsledné dielo do rôznych formátov, ako je PDF alebo animovaný GIF.
Na vyhodnotenie účinnosti a tvorivého vplyvu programu Storyboarder.ai sme uskutočnili
menší experiment, v ktorom sme využili spomínaný nástroj na vytvorenie storyboardu, zatiaľ
čo študenti pracovali klasickou metódou skicou, za pomoci programu Adobe Photoshop. So
študentmi sme používali rovnaký vopred určený scenár, ktorý sme spoločne vytvorili na
hodine. Tento scenár predstavoval konkrétnu filmovú scénu s podrobným popisom záberov.
Na konci vyučovacej hodiny, teda po 90 minútach sme vybrali spomedzi študentských prác
najlepšie spracovaný storyboard. Študenti pracovali v skupinách pričom využívali v programe
Photoshop najmä stroj Brush Tool a Horizontal Type Tool. Proces v nástroji
Storyboarder.ai predstavoval však komplexnejšie metódy na vypracovanie rovnakej úlohy.
Obrázok 1: Výsledok študentskej interpretácie textovej predlohy
8 SHORTER, R.: The 6 Best AI Storyboard Generators in 2024. [online]. [02-06-2024]. Dostupné na:
<https://boords.com/blog/the-6-best-ai-storyboard-generators-in-2024>.
- 745 -
Program storyboarder.ai ponúka možnosť vyskúšania na 7 dní úplne zadarmo, bez nutnosti
ukladania platobných údajov, či zaväzovania sa k predplatnému. V rámci tohto skúšobného
obdobia je možné vyskúšať 2 rôzne projekty, v ktorých program vie vygenerovať 6
referenčných záberov na základe vopred pripraveného textu. Štandardný balík, ktorého cena
sa pohybuje na hranici 60mesačne disponuje možnosťou vytvárať 5 projektov mesačne,
pričom je možné generovať aj literárne scenáre a neobmedzené množstvo referenčných
záberov do storyboardov. Po zaregistrovaní sa na platformu sa užívateľ dostane do pomerne
jednoduchého rozhrania, pričom k dispozície hneď niekoľko videonávodov ako
s programom pracovať. Tieto návody sme si naštudovali ešte pred začatím experimentu.
Storyboarder.ai pracuje ako sme spomínali v jednotlivých projektoch. Vytvorenie projektu
je pomerne jednoduché, užívateľ k dispozícií 2 možnosti, buď začne projekt nahratím
textového konceptu vo formáte PDF, pričom stačí napísať názov projektu, námet, vybrať
žáner a štýl v ktorom chce užívateľ generovať storyboard. Na výber má pritom zo 6 možností
od jednoduchých čiernobielych skíc cez farebné komiksové kresby po fotorealistické
obrázky. Druhá možnosť je nahrať hotový scenár, ktorý však musí byť v profesionálnom
formáte FDX alebo FOUNTAIN, teda z programov určených pre scenáristov. Pri nahratí
hotového scenára program automaticky vyhodnotí takzvaný shotlist, teda zoznam záberov,
ktorých následnosť je možné jednoducho upraviť posúvaním hore a dole, pričom dokážeme
upraviť aj popis daných záberov, veľkosť záberu, pomer strán či dokonca pridať technické
poznámky. Pri prvej možnosti, teda nahratí len konceptu projektu je nutné si tento shotlist
vypracovať samostatne, pričom nahratý koncept slúži programu len pre referenciu.
K jednotlivým záberom je potrebné v anglickom jazyku napísať prompty, teda príkazy,
ktorými sa bude program riadiť. Generovanie jednotlivých obrázkov do storyboardu je
pomerne rýchle a zabralo nie viac ako 2 minúty. Program veľmi dobre pochopil technické
poznámky, napríklad štýl záberu alebo veľkosť. Prvý záber vygeneroval bez nutnosti ďalších
úprav a pomerne blízko sa priblížil aj ľudskej interpretácií. Pri druhom zábere bolo nutné
dotvoriť pohyblivý element, teda smer ktorým sa auto hýbe. Program nedokázal vytvoriť
žiadnu indikáciu smeru pohybu auta. Rozhranie však disponuje možnosťou úpravy
jednotlivých obrázkov cez nástroj inpaint, ktorá je obdobou nástroja generative fill
v programe Adobe Premiere. Jednoduchým označením časti obrázka a napísaním promptu
„šípka smerom dopredu“ program dotvoril indikáciu pohybu. Následné štyri zábery
storyboardu mali predstavovať pokračujúci záber, pričom cieľom bolo zistiť úroveň
konzistentnosti programu dodržiavať vlastný štýl. Tretí záber program interpretoval opäť
veľmi podobne pričom využitý prompt môžeme vidieť pod oknom v obrázku 2. Problém však
nastal v interpretácií ďalších troch obrázkov, ktoré mali mať rovnakú kompozíciu a štýl.
Program vždy vytvoril úplne inú kompozíciu, a štýl kresby. Na obrázku 3 môžete vidieť
nekonzistentnosť štýlu, ktorý program generoval iba na základe opisov záberov zo shotlistu.
Obrázok 2: Nekonzistentnosť generovaných obrázkov na základe shotlistu
- 746 -
Bolo tak nutné upraviť shotlist tak, aby každý záber obsahoval vždy rovnaký prompt a len bol
doplnení o zmenu. Napríklad tre obrázok predstavoval príkaz „postava riadi auto, sedí za
volantom, sledujeme ju spoza ramena“ pričom štvrtý musel byť „postava riadi auto, sedí za
volantom, sledujeme ju spoza ramena, na vedľajšom sedadle začnú znieť zvuky“. Každý ďalší
záber tak musel obsahovať všetok predošlí text, pričom mal program problém identifikovať
drobné prvky ako napríklad zvonenie telefónu, či držanie rúk na volante. Tieto drobnosti bolo
potrebné opäť cez nástroj inpaint opraviť. Pre lepšie dodržanie konzistentnosti bolo potrebné
stiahnuť tretí obrázok, a vo štvrtom, piatom a šiestom ho priložiť do shotlistu ako referenčný.
Celkovo sme pre 6 výsledných obrázkov museli vygenerovať 46 pokusov, kým sme sa
dopracovali k želanému výsledku.
Obrázok 3: Výsledok spracovania storyboardu v programe storyboarder.ai
Výhody a limity nástroja:
Tento nástroj ponúka značné výhody, ako napríklad rýchle a presné generovanie zoznamov
záberov z pripravených scenárov a možnosť exportovať hotové zábery s popismi, vďaka
čomu je pomerne jednoduché si vytvoriť technický scenár, prípadne získať predstavu
o produkčnej následnosti. Nie je nutné aby používateľ vedel a musel kresliť, čo môže značne
urýchliť celý proces predprodukcie. Nástroj má však aj obmedzenia, medzi ktoré patrí potreba
skúšania viacerých promptov na dosiahnutie požadovaného výsledku, nekonzistentné
generovanie snímok, a potrebu využívania referenčných obrázkov. Mesačné poplatky
taktiež pomerne vysoké, pričom je jasné, že nástroj využijú naj produkčné spoločnosti,
ktoré pracujú na viacerých projektoch súčasne a vizualizáciu neustále konzultujú s klientom.
AIVA
Artificial Intelligence Virtual Artist (AIVA) je nástroj na generovanie hudby poháňaný
umelou inteligenciou, ktorý je určený na pomoc pri tvorbe originálnych skladieb. Nástroj
AIVA, ktorý vyvinula spoločnosť Aiva Technologies SARL, využíva pokročilé algoritmy
umelej inteligencie na generovanie hudby vo viac ako 250 rôznych štýloch, pričom vyhovuje
úplným začiatočníkom po skúsených profesionálov v oblasti hudobnej produkcie. Nástroj
je vysoko prispôsobiteľný a umožňuje používateľom vytvárať vlastné hudobné motívy,
nahrávať zvukové súbory alebo súbory vo formáte MIDI. Jednou z výnimočných vlastností
aplikácie AIVA je jej schopnosť rýchlo generovať hudbu, čo z nej robí neoceniteľný zdroj pre
- 747 -
tvorcov obsahov, ktorí potrebujú tzv. hudbu do pozadia, ktorej cieľom je iba doplniť vizuálne
médium, či video na sociálne platformy, reklamy ale dokonca aj filmy. Používatelia môžu
generovať skladby, vykonávať potrebné úpravy a dokonca vlastniť úplné autorské práva na
svoje skladby, ak si predplatia plán AIVA Pro, ktorý podporuje úplnú monetizáciu bez
potreby pripísania kreditu spoločnosti AIVA.9 Vytvorenie skladby pomocou nástroja AIVA
zahŕňa niekoľko krokov, ktoré využívajú pokročilé schopnosti umelej inteligencie nástroja na
generovanie originálnych hudobných kompozícií. Proces sa začína prihlásením používateľa
do platformy AIVA a výberom možnosti vytvoriť novú skladbu. Používatelia si môžu vybrať
z rôznych šablón alebo začať úplne od nuly, v závislosti od svojich hudobných požiadaviek a
preferencií. AIVA ponúka režim podrobnej úpravy, v ktorom môžu používatelia
zdokonaľovať jednotlivé časti skladby, upravovať konkrétne noty a experimentovať s
rôznymi hudobnými nápadmi. Tento režim umožňuje podrobné prispôsobenie, čím sa
zabezpečí, že konečný výstup bude spĺňať štandardy používateľa. Po spokojnosti so skladbou
môžu používatelia exportovať skladbu v rôznych formátoch súborov vrátane MP3 a
vysokokvalitného WAV, čo uľahčuje integráciu hudby do iných produkčných pracovných
postupov.10
Na demonštráciu schopností AIVA sme taktiež realizovali menší experiment s cieľom
vytvoriť prispôsobenú hudobnú kompozíciu pre konkrétnu video scénu. Proces zahŕňal výber
krátkeho videoklipu, definovanie požadovaného hudobného štýlu a nálady v rámci aplikácie
AIVA a umožnenie platforme vygenerovať počiatočnú kompozíciu. Vygenerovaná hudba sa
následne doladila pomocou nástrojov na úpravu priamo v programe, aby sa zabezpečilo, že
bude zodpovedať emocionálnemu tónu a načasovaniu videa. Nakoniec sa skladba
zosynchronizuje s videoklipom. Scéna, ktorú sme sa rozhodli realizovať pochádza z filmu
Interstellar, konkrétne takzvaná „Docking scene“, ku ktorej hudobný skladateľ Hans Zimmer
zložil skladbu No Time For Caution, ktorá bude našou referenciu.
AIVA k dispozícií pre svojich používateľov 3 plány predplatného. Je tu možnosť
vyskúšať program zadarmo, pričom všetky práva na skladby vlastní spoločnosť. Vytvoriť
zadarmo môžete maximálne skladby do 3 minút pričom stiahnuť si môžete 3 zvukové stopy
ako vo formáte MP3 tak aj v profesionálnom MIDI. Prémiový program, ktorého aktuálna
cena je stanovená na 50€ mesačne ponúka možnosť vlastniť práva na vytvorené skladby,
stiahnuť 300 skladieb mesačne o maximálnej dĺžke 5 a pól minúty. Pre potreby nášho
experimentu nám postačila verzia zadarmo. Registrácia je veľmi jednoduchá, používatelia
majú možnosť sa registrovať pomocou účtu Google. Rozhranie programu užívateľov ihneď
nabáda k vytvoreniu nových skladieb, ktoré v prednastavenom okne predstavuje zoznam
vytvorených skladieb a takzvaných referencií. Do referencií si vie používateľ nahrať
existujúcu skladbu, napríklad svojho obľúbeného interpreta, pričom ku každej referencií musí
označiť štýl skladby a predznamenie (key signature). Pri vytvorení novej skladby majú
používatelia možnosť vybrať zo 4 postupov. Prvým je výber hudobného štýlu, ktorý
predstavuje akúsi šablónu, ktorá sama generuje skladby v istom žánri a nálade. Pri tomto
spôsobe stačí len zakliknúť jeden z 250 štýlov, vybrať dĺžku skladby a počet generovaných
kompozícií. Druhá možnosť je vytvoriť skladbu pomocou akordov. V tomto prípade môžeme
kombinovať viaceré štýly, predznamenia a žánre do jednej skladby, pričom program
disponuje vlastnou časovou osou pre úpravu zvukovej stopy. Najpresnejším nástrojom je
spôsob „step by step“, teda vlastnoručným komponovaním skladby v rozhraní aplikácie, ktorú
je nutné si dodatočne stiahnuť. Tento nástroj je veľmi podobný obdobným softvérom na
9 MATTHEW, J.: AIVA AI Music Generator: Getting Started. [online]. [03-06-2024]. Dostupné na:
<https://creativeais.com/aiva-ai-music-generator/>.
10 OUYANG, H.: Composition Workflow: Step-by-Step Tutorial. [online]. [03-06-2024. Dostupné na:
<https://www.youtube.com/watch?v=cBKpBgmrqeA>.
- 748 -
úpravu zvuku a vyžaduje si tak značné skúsenosti v oblasti zvukovej tvorby. My sme sa
rozhodli pre poslednú možnosť a teda vytvorenie skladby na základe referencie. Vybrali sme
skladbu No Time For Caution ako našu referenciu, pretože ide o viacvrstvové komplexné
orchestrálne dielo pozostávajúce zo sláčikov, orgánu, bicích nástrojov a syntetizátorov,
pričom skladba viackrát na svojej stopáži mení tempo a rytmus. Považujeme tak túto skladbu
za dobrú testovaciu referenciu pre nástroj AIVA. Pri vytváraní novej skladby z referencie
používateľ vyberá okrem samotnej referencie aj emóciu, dĺžku skladby, počet generovaní ale
aj predznamenie a spôsob orchestrálneho usporiadania, napríklad či skladba pripomínať
symfonický orchester, sláčikové quarteto a podobne. Vygenerovali sme si 3 skladby o dĺžke
jednej minúty, ktoré nástroj zvládol vytvoriť za necelých 80 sekúnd. Štýlom k referenčnej
skladbe sa najviac podobal tretí pokus, ktorý sme sa rozhodli upraviť v rozhraní programu
AIVA. Výsledok nášho experimentu si môžete pozrieť na odkaze v prílohách, pričom obrázok
4 predstavuje finálnu úpravu vygenerovanej skladby. Úprava spolu s exportom
a synchronizovaním so scénou trvala približne 2 hodiny, čo považujeme v kontexte zvukovej
dramaturgie za pomerne krátky čas. Výsledná ukážka mala dĺžku 40 sekúnd. V praxi to
znamená, že hudobný skladatelia za pomoci napríklad aj nástroja AIVA dokážu vytvoriť
komplexné diela pripravené pre synchronizáciu nie v rozmedzí dní či týždňov ale dokonca
hodín či minút, samozrejme v závislosti od schopností a zručností autora.
Obrázok 4: Výsledok finálnej kompozície v programe AIVA
Výhody a limity nástroja:
Experiment skúmajúci možnosti nástroja AIVA pri generovaní hudobných kompozícií pre
filmové scény odhalil niekoľko výhod: jednoduchú registráciu, intuitívne rozhranie, jasne
definované plány predplatného, rýchle generovanie počiatočných návrhov, široký výber
štýlov, podrobný editor v rámci rozhrania a možnosť upravovať skladby podľa akordov.
Nástroj však aj výrazné nevýhody, ako je potreba používať odkazy iných autorov a
skladieb, stereotypný a bezduchý charakter vygenerovaných hudobných kompozícií,
požiadavka na znalosť hudobnej dramaturgie pri podrobnej úprave a nutnosť porozumieť
odbornej terminológii. Hoci sa AIVA ukazuje ako cenný pomocník pre profesionálnych
skladateľov
a strihačov zvukových mixov, bežní používatelia môžu mať problém s plným využitím jeho
potenciálu. Je obzvlášť užitočný pri doplnkovej hudobnej dramaturgii, napríklad pri
pokrývaní b-rollov, prechodov medzi scénami, nízkorozpočtových produkciách alebo pri
vytváraní personalizovanej hudobnej banky. Napriek svojej užitočnosti zatiaľ nemôže AIVA
nahradiť profesionálnych skladateľov alebo naživo nahrané nástroje, pretože vygenerovaným
- 749 -
skladbám, hoci technicky dokonalé, často chýbajú emócie a umelecký zmysel. Napriek
tomu sú tieto kompozície stále praktické a použiteľné v rôznych kontextoch.
Runway
Ide o inovatívnu platformu, ktorá využíva pokročilé nástroje umelej inteligencie v rámci
video produkcie a postprodukcie. Ponúka sadu nástrojov navrhnutých na zefektívnenie a
zlepšenie kreatívneho procesu pre filmárov, animátorov alebo tvorcov obsahu na sociálne
siete. Spoločnosť bola založená v roku 2018 Cristóbalom Valenzuelom, ktorý mal víziu
sprístupniť pokročilé techniky strojového učenia a vymoženosti umelej inteligencie tvorcom,
filmárom a ďalším umelcom.11 Tento nástroj funguje na princípe web based, to znamená, že
nie ju nutná žiadna inštalácia softvéru priamo do počítačového alebo mobilného zariadenia.
Výhodou je úprava videa v reálnom čase, práca s videom v rozlíšení 4K a export videí do
najpopulárnejších formátov. Softvér ponúka sériu nástrojov na úpravu videa, fotografií alebo
tvorbu 3D grafiky.
V rámci štúdie sa budeme zameriavať predovšetkým na funkcie AI spojené s videom. Najmä
na generatívne AI modely, ale aj modely špecifický určené na postprodukciu. V rámci
generovania alebo zmeny obrazu poskytuje platforma dva moduly. Gen-1 a Gen-2. Zatiaľ čo
Gen-1 aplikuje kompozíciu a vizuálny štýl obrázka alebo textového promptu na štruktúru
zdrojového videa, tak Gen-2 umožňuje multimodálne generovanie videí pomocou textu,
obrázkov alebo videoklipov. V praxi to znamená, že pomocou modelu Gen-1 môžeme zmeniť
vizuálny štýl originálneho záberu. Napríklad z reálnej fotografie môžeme spraviť olejomaľbu
alebo 2D vektorovú animáciu. Naopak pri Gen-2 dokážeme vytvoriť na základe textu alebo
vizuálnej referencie kompletne samostatné video za pomoci AI. V rámci nástroja Runway nás
budú zaujímať aj nástroje na editáciu videa. Akým spôsobom funguje strih videa, vizuálne
efekty, úprava farieb alebo aké ďalšie možnosti platforma ponúka.
Čo sa týka predplatného, Runway ponúka päť možností. Free, Standard, Pro, Ultimate a
Enterprise. Predplatné si môžeme zakúpiť na mesačnej alebo ročnej báze. Samotné
generovanie obsahu cez možnosti Gen 1 a Gen 2 je v tomto prípade možné na základe
zakúpených kreditov. V rámci verzie Free majú používatelia k dispozícií len 125 kreditov, pri
Standard je ich 625 pričom sa obnovujú na mesačnej báze. Pro verzia ponúka 2250 kreditov a
ďalšie formy predplatného už neobmedzené množstvo. Ďalším rozdielom počty projektov,
ktoré vieme mať k dispozícií v rámci účtu, dátové úložisko, možnosti exportu do 4K
rozlíšenia alebo množstvo zdrojových materiálov, ktoré môžeme používať. Cenovo sa
predplatné pohybuje od 12 dolárov až po 125 dolárov za mesiac.
Po charakteristike platformy budeme realizovať samotný experiment, otestujeme spomínane
funkcie na základe nášho video materiálu. Ako prvý sme otestovali modul Gen-1. Na stránku
sme nahrali záber ženy, ktorá sa prechádza na poli s kvetmi. Tento záber si pomocou modulu
vieme upraviť troma spôsobmi, na základe vizuálnej referencie, obrázku, na základe
prednastavených vizuálov alebo na základe textového pokynu. My sme testovali prvú
možnosť a využili sme referenčnú olejomaľbu od Vincenta Van Gogha. V rámci nastavení
môžeme upraviť ešte silu referenčného obrázku od 0–100. Hodnota určuje umelej
inteligencií, na koľko percent sa držať vizuálnej referencie. V našom prípade sme
nastavili hodnotu na 80. Výsledok nás príjemne prekvapil. Ako vidíme na obrázku 5, vizuálny
štýl olejomaľby bol efektívne aplikovaný. Obraz sa generoval približne 1 minútu, pričom v
bezplatnej verzii me možnosť generovať iba štyri pokusy. Nevýhodou je, že obraz
11 VALENZUELA, C.: We shape our tools and thereafter our tools shape us: Interview with RunwayML founder
Cristóbal Valenzuela. [online]. [10-06-2024]. Dostupné na: <https://blog.paperspace.com/we-shape-our-tools-
and-thereafter-our-tools-shape-us-interview-with-runwayml-founder-cristobal-valenzuela/>.
- 750 -
nemôžeme ďalej upravovať, napríklad farebnosť, kontrast, štýl a podobne. Taktiež došlo k
výraznej zmene napríklad vo farbe oblečenia, alebo vlasov. Nevýhodou je aj to, že nemôžete
kombinovať referenčný obrázok s textovým pokynom. Práve textový pokyn by v tomto
prípade mohol zachovať farbu vlasov alebo oblečenia. Jedinou možnosťou, ako sa dopracovať
k inému výsledku je nahrať inú referenciu alebo skúšať meniť hodnoty referenčného obrázku.
Samotné využitie môže byť široké, generovaný štýl sa v rámci produkcie využiť ako
referenčný obrázok, akým štýlom si predstavuje režisér finálnu podobu filmu. Využitie môže
byť aj v rámci postprodukcie, kedy môžu animátori alebo VFX umelci na základe
predpripravenej vizuálnej referencie upravovať vybrané scény vo filme alebo inom
audiovizuálnom diele.
Obrázok 5: Výsledok generovania obrazu cez možnosť Gen –1 s využitím referenčného
obrázka.
V rámci modelu Gen-2 me možnosť vytvárať vlastné videosekvencie na základe textového
pokynu alebo animovať referenčný obrázok. Výhodou je kombinácia týchto možností.
V prvom príklade sme využili iba textový príkaz na tvorbu videa. Ten znel: „Vytvor záber na
futuristické kyberpunko mesto z roku 2100, vysoké mrakodrapy s neónovými svetlami,
holografické billboardy, lietajúce vozidlá, technologická atmosféra“. Na základe textového
príkazu hodnotíme výsledok ako spoľahlivý, avšak úroveň detailov a pohyby majú výrazne
limity.
Obrázok 6: Výsledok generovania obrazu cez možnosť Gen –2
Výhodou je, že v rámci animácie môžeme do obrazu pridávať aj pohyby kamery, alebo
vytvárať hĺbku ostrosti cez možnosť motion brush. Výsledky testu prikladáme v prílohe B.
Výhody generovania vlastného obrazu na základe textového príkazu je pre produkčný proces
veľký skok. Avšak, stále iba vo forme vizualizácie daných scén, napríklad ako referencie pre
hľadanie lokalít, vytváranie kulís alebo tvorbu vizuálnych efektov. Vhodné využitie vidíme
pri animatikoch. Pohyblivých storyboardoch, ktoré sa využívajú v rámci predproduckie na
jasné určenia technických aspektov produkcie pri jednotlivých scénach.
- 751 -
V rámci experimentu otestujeme túto platformu aj na úpravu videa a postprodukciu. Pri
tvorbe projektu máme hneď niekoľko možností, vytvoriť vlastnú video kompozíciu, alebo sa
prepnúť priamo medzi takzvané Magic tools, konkrétne funkcie ako green screen, inpainting
alebo motion tracking, ktoré využívajú moduly AI. Po vytvorení vlastnej video kompozície
sa dostaneme do pracovného prostredia video editora, ktorý pripomína klasické rozloženie
strihového softvéru. Dominuje veľký náhľad, pod ktorým je časová os zostavená z vrstiev.
Všetky nastavania a funkcie v pravej časti rozhrania pričom veľmi intuitívne a
užívateľsky jednoduché. Import súborov vieme realizovať cez možnosť upload alebo
jednoducho drag & drop. Pri importe je veľmi dôležitá rýchlosť internetového prepojenia,
nakoľko dochádza ku nahrávaniu množstva dát. Editor ponuka jednoduchú možnosť úpravy
klipu, jeho strih, posúvanie, zmenu veľkosti záberov, prispôsobenie do viacerých formátov a
taktiež využitie znych filtrov a efektov. Samotná aplikácia efektov alebo strihové úkony
nevyžadovali zdĺhavé načítavanie a fungovali v reálnom čase. Avšak, absentujú pokročilé
možnosti úpravy farieb, ako to poznáme napríklad zo softvéru Premiere Pro, alebo Davinci
Resolve. Čo nás prekvapilo bola napríklad možnosť Super slow motion. Tento efekt sme
aplikovali na dronový záber, ktorý bol natočený v rýchlosti 24 snímkov za sekundu. Ksme
záber s nástrojom spomalili na polovičnú hodnotu, video sa stále prehrávalo v pomerne
dobrom spomalení, bez indikácie sekavého pohybu, ktorý by pri 12 snímkoch za sekundu
nastal. Opäť ale chýbala možnosť pokročilých nastavení spomaľovania snímkov, ktoré
poznáme z klasických softvérových aplikácii. Ak sa presunieme ku takzvaným magic tools,
prvým je green screen. Ide o postprodukčné odstránenie pozadia, ktoré bude neskôr nahradené
iným. Na testovanie sme vybrali záber, ktorý je na odstránenie pozadia veľmi náročný, najmä
kvôli vlasom herečky, ktorá bola pred plátnom natočená. Samotný výsledok nás neprekvapil,
pozadie síce bolo úspešne odstránenie ale výsledok okolo siluety herečky, najmä vlasov nie.
Program neponúka ďalšie pokročilé možnosti ako upravovať selekciu alebo zjemňovať okraje
okolo siluety.
Na obrázku 7 môžeme vidieť komparáciu využitia obdobného efektu v programe Adobe After
Effects v porovnaní s testovaným programom.
Obrázok 7: Rozdiel v kľúčovaní v programe Runway ML (naľavo) a Adobe After Effects
(napravo)
K ďalším nástrojom medzi magic tools patrí takzvaný inpainting. Má ísť o funkciu, ktorá
dokáže odstrániť konkrétnu časť obrazu a vygenerovať namiesto neho čistú plochu. Avšak po
tomto teste sme prišli k nepoužiteľným výsledkom. Namiesto generovania nového obsahu
dochádza skôr k deformáciám a vytvoreniu vizuálnych machúľ. Tretia možnosť je motion
tracking, čiže sledovanie pohyblivého objektu na scéne, na ktorý je možné následne
individuálne aplikovať efekt alebo inú vrstvu. Na testovaných videách fungovala táto
možnosť len priemerne. Avšak, prekvapili nás ďalšie možnosti úpravy videa ako napríklad
Scene detection. Proces, kedy sme do aplikácie nahrali hotové video s tým, aby nám
softvér automaticky detegoval strih. Jednotlivé časti, pôvodného videa si následne môžeme
- 752 -
sťahovať individuálne alebo všetky strihy naraz. Dobre fungovala aj funkcia Blur faces, ktorá
dokáže detegovať v zábere tvár, ktorú môžeme následne rozmazať, alebo funkcia color LUT,
kde si vytvoríme farebnú schému na základe textového pokynu. Tieto funkcie nás príjemne
prekvapili a dokážu užívateľom automatizovať drobné úpravy vo videách bez toho, aby
potrebovali akékoľvek technické zručnosti z klasických postprodukčných aplikácií.
Výhody a limity nástroja:
Nástroj Runway ponúka jedinečné možnosti pre tvorcov digitálneho obsahu a taktiež
množstvo ďalších nástrojov na strih a editáciu videí. V rámci generovania obsahu ide o
unikátnu aplikáciu s využitím AI, ktorej využitie v produkčnej a postprodukčnej fáze nájde
svoje uplatnenie. Či vo forme referencií ku scenárom, tvorbe efektov alebo animatikov.
Taktiež ponúka nástroje na automatizáciu rutinných a časovo náročných úloh, ako je
jednoduchý strih videí, pridávanie textov, prechodových efektov alebo farebnú korekciu.
Veľkou výhodou je intuitívne pracovné prostredie a možnosť editovať projekt priamo v
prehliadači svojho zariadenia. To je pre začínajúcich editorov veľká výhoda, eliminuje sa tým
potreba inštalovania akéhokoľvek dodatočného softvéru a disponovania množstva lokálneho
úložiska. Výhodu v rámci produkcie a postprodukcie môžeme vidieť aj v znížení nákladov,
ktoré spojené so zjednodušením mnohých produkčných procesov a potrebou výkonného
hardvéru či profesionálnych služieb. Za limity považujeme možnosti dodatočnej práce v
bezplatnej verzií, ktorá umožňuje iba testovanie funkcionality jednotlivých modulov. Ak by
sme pracovali na komplexnom projekte, v rámci bezplatnej verzie možnosti výrazne
obmedzené. Počas testovanie sme sa stretli aj s problémovým prehrávaní 4K videa, pričom
fungovanie určitých modulov bolo limitované a funkčné iba na prehliadači Google Chrome.
Taktiež chýbajú pokročilé nástroje na úpravu videí, ktoré typické pre aplikácie ako
Premiere Pro alebo Davinci Resolve. Umelá inteligencia a pokročilé funkcie ako napríklad
green screen alebo inpainting vo vývoji oproti klasickým softvérovým aplikáciám stále
pozadu a majú výrazné limity. Považovať tak tento nástroj za náhradu klasických editačných
softvérov tak nie je na mieste.
4 ZÁVER
Štúdia jasne ukazuje, že nástroje umelej inteligencie majú transformačný vplyv na rôzne fázy
audiovizuálnej tvorby, od predprodukcie cez produkciu po postprodukciu. Použitie
nástrojov ako Storyboarder, AIVA či Runway výrazne zvyšuje efektivitu, kreativitu
a v individuálnych prípadoch aj kvalitu výsledného produktu. Experimenty a analýzy
vykonané počas štúdie demonštrujú schopnosť týchto nástrojov automatizovať a
optimalizovať pracovné procesy, čo vedie k inováciám v softvérovej oblasti v tomto
umeleckom odvetví. Budúci vývoj AI technológií sľubuje ešte výraznejšie premeny, ktoré
budú naďalej formovať budúcnosť audiovizuálnej tvorby. Napriek mnohým výhodám existujú
aj výzvy spojené s integráciou AI do tvorivých procesov. Jednou z hlavných výziev je potreba
nájsť rovnováhu medzi automatizáciou a zachovaním ľudskej kreativity. Je tiež dôležité
zaistiť, aby tieto nástroje boli prístupné a použiteľné pre širokú škálu tvorcov. V aktuálnom
stave nástroje skôr pomocníkom pre umelcov, ako ich plnohodnotnou náhradou. Všetky
testované nástroje potrebovali referenčné materiály a ľudský vstup do vytvorenia želaného
výsledku. Je však na mieste otázka v akej podobe budú výsledky testov vyzerať o pár rokov či
mesiacov.
- 753 -
Použitá literatúra
1. GUPTA, A.: 5 AI tools that will save you 10+ hours on video production. [online].
[02-06-2024]. Dostupné na: <https://api.video/blog/video-trends/ai-tools-video-prod
uction/> .
2. HENRIKSEN, E.: How to Simplify Video Pre-prodcution Using AI. [online]. [02-06-
2024]. Dostupné na: <https://www.synthesia.io/learn/video-production/pre-producti
on>.
3. MATTHEW, J.: AIVA AI Music Generator: Getting Started. [online]. [03-06-2024].
Dostupné na: <https://creativeais.com/aiva-ai-music-generator/>.
4. OUYANG, H.: Composition Workflow: Step-by-Step Tutorial. [online]. [03-06-2024].
Dostupné na: <https://www.youtube.com/watch?v=cBKpBgmrqeA>.
5. SHORTER, R.: The 6 Best AI Storyboard Generators in 2024. [online]. [02-06-2024].
Dostupné na: <https://boords.com/blog/the-6-best-ai-storyboard-generators-in-2024>.
6. SOORI, M., AREZOO, B., DASTRES, R.: Artificial intelligence, machine learning
and deep learning in advanced robotics, a review. In: Cognitive Robotics, 2023, č. 3,
s. 54-70
7. STRELKOV, I.: How Artificial Intelligence Changed Animation Forever. [online].
[02-06-2024]. Dostupné na: <https://medium.com/lets-talk-ai/how-artificial-
intelligence-changed-animation-forever-1c1aacc2b7f7>.
8. TAKYAR, A.: AI in media and entertainment:Use cases, benefits and solution.
[online]. [02-06-2024]. Dostupné na: < https://www.leewayhertz.com/ai-in-media-
and-entertainment/>.
9. TRACKLIB: Complete List: The Best AI Music Production Tools. [online]. [02-06-
2024]. Dostupné na: <https://www.tracklib.com/blog/ai-music-production-tools>.
10. VALENZUELA, C.: We shape our tools and thereafter our tools shape us: Interview
with RunwayML founder Cristóbal Valenzuela. [online]. [10-06-2024]. Dostupné na:
<https://blog.paperspace.com/we-shape-our-tools-and-thereafter-our-tools-shape-us-
interview-with-runwayml-founder-cristobal-valenzuela/>.
11. ZHANG, X., LI, Y., HAN, Y., WEN, J.: AI Video Editing: a Survey. Preprints, 2022.
s. 34
Kontaktné údaje
Mgr. Matúš Višváder
Univerzita sv. Cyrila a Metoda v Trnave
Fakulta masmediálnej komunikácie
Nám. J. Herdu 2,
917 01 Trnava
SLOVENSKÁ REPUBLIKA
visvader2@ucm.sk
Mgr. Ján Proner, PhD.
Univerzita sv. Cyrila a Metoda v Trnave
Fakulta masmediálnej komunikácie
Nám. J. Herdu 2,
917 01 Trnava
SLOVENSKÁ REPUBLIKA
jan.proner@ucm.sk
- 754 -
ISBN 978-80-87952-40-5
Vol. XIV., 2024
Příspěvky publikované v tomto sborníku vyjadřují názory a stanoviska nezávislých autorů. | Papers published in
this conference proceedings express the viewpoints of their independent authors.
Tato publikace neprošla redakční ani jazykovou úpravou.
Book
Full-text available
This monograph explores the term "K-drama" and defines it as a distinct genre—the mini-series—with unique formal and content characteristics. It examines the individuality of K-dramas within the global media landscape and analyzes how their production has been shaped by processes of globalization.
Article
Full-text available
Artificial Intelligence (AI), Machine Learning (ML), and Deep Learning (DL) have revolutionized the field of advanced robotics in recent years. AI, ML, and DL are transforming the field of advanced robotics, making robots more intelligent, efficient, and adaptable to complex tasks and environments. Some of the applications of AI, ML, and DL in advanced robotics include autonomous navigation, object recognition and manipulation, natural language processing, and predictive maintenance. These technologies are also being used in the development of collaborative robots (cobots) that can work alongside humans and adapt to changing environments and tasks. The AI, ML, and DL can be used in advanced transportation systems in order to provide safety, efficiency, and convenience to the passengers and transportation companies. Also, the AI, ML, and DL are playing a critical role in the advancement of manufacturing assembly robots, enabling them to work more efficiently, safely, and intelligently. Furthermore, they have a wide range of applications in aviation management, helping airlines to improve efficiency, reduce costs, and improve customer satisfaction. Moreover, the AI, ML, and DL can help taxi companies in order to provide better, more efficient, and safer services to customers. The research presents an overview of current developments in AI, ML, and DL in advanced robotics systems and discusses various applications of the systems in robot modification. Further research works regarding the applications of AI, ML, and DL in advanced robotics systems are also suggested in order to fill the gaps between the existing studies and published papers. By reviewing the applications of AI, ML, and DL in advanced robotics systems, it is possible to investigate and modify the performances of advanced robots in various applications in order to enhance productivity in advanced robotic industries.
5 AI tools that will save you 10+ hours on video production
  • A Gupta
GUPTA, A.: 5 AI tools that will save you 10+ hours on video production. [online]. [02-06-2024]. Dostupné na: <https://api.video/blog/video-trends/ai-tools-video-prod uction/>.
How to Simplify Video Pre-prodcution Using AI
  • E Henriksen
HENRIKSEN, E.: How to Simplify Video Pre-prodcution Using AI. [online]. [02-06-
AIVA AI Music Generator: Getting Started
  • J Matthew
MATTHEW, J.: AIVA AI Music Generator: Getting Started. [online]. [03-06-2024]. Dostupné na: <https://creativeais.com/aiva-ai-music-generator/>.
Composition Workflow: Step-by-Step Tutorial
  • H Ouyang
OUYANG, H.: Composition Workflow: Step-by-Step Tutorial. [online]. [03-06-2024]. Dostupné na: <https://www.youtube.com/watch?v=cBKpBgmrqeA>.
The 6 Best AI Storyboard Generators in 2024
  • R Shorter
SHORTER, R.: The 6 Best AI Storyboard Generators in 2024. [online]. [02-06-2024]. Dostupné na: <https://boords.com/blog/the-6-best-ai-storyboard-generators-in-2024>.
How Artificial Intelligence Changed Animation Forever
  • I Strelkov
STRELKOV, I.: How Artificial Intelligence Changed Animation Forever. [online]. [02-06-2024]. Dostupné na: <https://medium.com/lets-talk-ai/how-artificialintelligence-changed-animation-forever-1c1aacc2b7f7>.
AI in media and entertainment:Use cases, benefits and solution
  • A Takyar
TAKYAR, A.: AI in media and entertainment:Use cases, benefits and solution. [online]. [02-06-2024]. Dostupné na: < https://www.leewayhertz.com/ai-in-mediaand-entertainment/>.
We shape our tools and thereafter our tools shape us: Interview with RunwayML founder Cristóbal Valenzuela
  • C Valenzuela
VALENZUELA, C.: We shape our tools and thereafter our tools shape us: Interview with RunwayML founder Cristóbal Valenzuela. [online]. [10-06-2024]. Dostupné na: <https://blog.paperspace.com/we-shape-our-tools-and-thereafter-our-tools-shape-usinterview-with-runwayml-founder-cristobal-valenzuela/>.
AI Video Editing: a Survey. Preprints
  • X Zhang
  • Y Li
  • Y Han
  • J Wen
ZHANG, X., LI, Y., HAN, Y., WEN, J.: AI Video Editing: a Survey. Preprints, 2022. s. 34