Коллега Netflix сделал нейросеть для поиска поцелуев в фильмах

    Компьютерное зрение почти безупречно распознает объекты на статичных изображениях, и сейчас трудности в большей степени появляются лишь с видеоклипами. Все же создатели продолжают производить нейронные паутине для определения многообразных воздействий на видео, и одной из крайних и самых увлекательных проектов является работа сотрудника Netflix Амира Зиая. Используя основу из 100 голливудских кинофильмов он научил нейронную паутину распознавать сцены с поцелуями, причем избегая чрезвычайно откровенных сцен.

    Коллега Netflix сделал нейросеть для поиска поцелуев в фильмах

    Нейронная паутину распознает поцелуи, ориентируясь на движениях губ актеров и звуках прикосновений. Дабы отобразить нейронной паутине, на что она обязана уделять свое внимание, Амир Зиай своими руками отметил сцены с поцелуями в выборке из сотен голливудских кинофильмов. Посреди возделанных им же кинокартин оказались Анна Каренина (1935), Призрак (1990) и Казино Рояль (2006). Разраб и не предстал расширять основу обучающих кинофильмов, так как нейросеть закончила «умнеть» уже опосля восьмидесятого кинофильма. В итоге Амир подчеркнул 263 сцены с поцелуями и 363 сцены без поцелуев.

    Нейронная паутину научилась распознавать поцелуи

    Сделанная система определения поцелуев состоит из двух элементов. Первая анализирует односекундные отрывки видео и именуется бинарным классификатором — в нее заходит сверточная нейросеть ResNet для анализа зрительных заданных, и нейросеть VGG для исследования аудио. Вторая часть системы, сегментатор, отнимает куски с поцелуями и выдает них таким макаром, дабы они и не повторялись.

    Получив видеофрагмент, система изучает его на наличие сцен с поцелуями и выдает них в образе отрывков. Тестирование продемонстрировало, что нейронная паутину совладевает со собственной задачей с 95% точностью. Но, существовало увидено, что система частенько допускает ошибку в энных сценах, где поцелуи происходят на фоне пространных пейзажей, либо где поцелуи происходят очень резво.

    Для чего востребована такова нейросеть?

    Хоть Амир Зиай и является коллегой Netflix, сделанная им же нейронная паутину и не имеет никакого взаимоотношения к сервису. А уж напрасно — опция определения поцелуев возможно максимально полезна в стриминговых сервисах, также в Facebook, Instagram и TikTok. Как только минимум, немного изменив метод, можно сделать систему сортировки лишне откровенных сцен. А также такова система может автоматизированно сортировать видео по направленным на определенную тематику папкам.

    На тематику нейронных сетей советуем почитать об ее способности воскрешать статичные портреты. Благодаря труду профессионалов из Центра искусственного ума Самсунг, портреты Достоевского, Мона Лизы и Альберта Эйнштейна практически оживились — взглянуть на их можно в нашем материале.

    Обсудить эту, и альтернативные тематики науки и технологий, можно в нашем Telegram-чате. Кроме увлекательных собеседников, там вы отыщите новости свежайших материалов нашего веб-сайта!