INSAIT и Netflix постигат световен пробив в обработката на видео с изкуствен интелект  

INSAIT, Институтът за компютърни науки, изкуствен интелект и технологии, обяви съвместна разработка с Netflix, в която участва и Институтът към Софийския университет „Св. Климент Охридски“. Тази инициатива доведе до създаването на нов AI модел под името VOID, предназначен за премахване на обекти от видеосъдържание едновременно с преразглеждане на сцената в реалистична форма. Подобна възможност разширява обхвата на видеопродукцията и потенциално намалява разходите за презаснемане, като предоставя по-голяма свобода на творците.

VOID надгражда над стандартните инструменти за клониране на изтритото, като не просто запълва празнините, а разбира взаимодействието между обектите и средата. Ако например даден човек държи предмет и той бъде премахнат, моделът пресъздава естественото движение на предмета — падане, отскачане или усещане за реална динамика — сякаш сцената е заснета без него. Това носи значителни ползи за производството на видеоклипове и може да спести значителни средства, свързани с повторно заснемане.

Технологично VOID се базира на CogVideoX и използва специален подход с т. нар. quadmask, който разделя обектите, зоните на взаимодействие и фона. Тази структура помага на системата да запази логиката и динамиката на кадъра без видими артефакти, дори когато обектите изчезват.

Поради ограниченото количество реални тренировъчни данни, екипите на Netflix и INSAIT залегнаха на симулирани сцени, генерирани чрез Blender. Така моделът се учи как се променя реалната среда, когато даден обект изчезне, и може да приложи това знание към реални видеоматериали. В сравнение с налични решения VOID демонстрира по-добра визуална консистентност и по-реалистично поведение на изчезващи обекти.

VOID е с открит код, което предоставя възможност на разработчици и изследователи от цял свят да допринасят, да адаптират и надграждат технологията. Това е още един аргумент за значимостта на INSAIT в глобалния контекст на развой на технологии за изкуствен интелект и видеопродукция, които преобразяват индустрията и творческите процеси.