Вчені з підрозділу Disney Research і Ратгерського університету в Нью-Джерсі навчили алгоритм читати текст сценарію і створювати на його основі розкадрування і відео

Про це пише видання Venture Beat.

Творці алгоритму вважають, що він стане в нагоді не тільки для візуалізації сценаріїв, але і при створенні навчальних курсів, а також роликів на тему безпеки.

Втім, створену Disney систему не можна назвати новаторською.У минулому році вчені показали алгоритм на основі нейромереж, який створював відео з 32 кадрів на основі описів на зразок "гра на траві в гольф".

Але співробітники Disney Research розвинули цю ідею далі. Їх алгоритму не потрібні анотації для створення відео і розкадрувань, і він здатний сприймати складні речення. Для цього використовується модульна нейромережа, у якій кожна з підмереж виконує свою функцію (виділяють релевантний текст з опису сцен в сценарії,  спрощують складні речення, використовуючи набір лінгвістичних правил, і т.д).

 

 

Для створення відео алгоритм використовує бібліотеку 3D-моделей. За описом в сценарії алгоритм знаходить підходящу модель і додає її в ролик.

Вчені провели опитування, яке показало, що 68% респондентів вважають, що алгоритм на основі тексту створює відео "прийнятної" якості.