Какую пользу умеют принести нейросети для кино, видеоигр и виртуальной действительности

    С развитием технологий нейросетей и машинного обучения, расширяется и сфера них внедрения. Ежели ранее нейросети использовались только для проведения сложноватых математических, мед, физический, био расчетов и прогнозирования, то ныне эти технологии получают машистую популярность в наиболее «приземленной» среде – в сфере развлечений. Делая только первые шаги в этом направлении, они уже способны показывать умопомрачительные и иногда даже выдающиеся результаты. Сейчас разберем несколько приятных примеров.

    Какую пользу умеют принести нейросети для кино, видеоигр и виртуальной реальности

    Процесс ремастеринга видео так непростой и времязатратный, что почти все шедевры мировой классики мы, может быть, эдак не заметили бы с новейшей, современной, точной и сочной картинкой. Но во всем мире много догадливых фанатов и энтузиастов, кои хорошо разбираются в новеньких разработках, и а именно разработках нейросетей и машинного обучения, при помощи которых можно достигнуть необыкновенных результатов даже в домашних критериях. К примеру, юзер YouTube Стефан Румен с псевдонимом CaptRobau решил показать некие способности нейросетей в обработке видео пожилого умопомрачительного телесериала.

    Наиболее ранешней его работой является Remako Mod — «HD-ремейк» традиционной и максимально пользующейся популярностью японской RPG Final Fantasy VII под заглавием. Для сего он употреблял ИИ-алгоритм AI Gigapixel, благодаря которому сумел масштабировать изображение уникальной рисунки в 4 раза, переведя ее в HD-разрешение без каких-то существенных конфигураций в изначальном арт-дизайне. Таким макаром, пока что вы будет ожидать еще одно десятилетие перед началом тамошнего момента, когда японский разраб и издатель компьютерных игр Square Enix официально выпустит ремастер, пожалуй, одной из топовых элементов этойданной для нас игровой серии, сможете попытаться мод Стефана Румена без помощи других, скачав его с сего веб-сайта.

    К слову, в ближайшее время технологии нейросетей для ремастеринга древних игр и приведения них к наиболее злободневному и современному образу без конфигурации общей уникальной концепции предстало заправдашним трендом посреди разнообразных мододелов. Например, недавно мы ведали об технологии ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), при помощи которой сбываются технологии масштабирования изображений с 2-8-кратным повышением свойства. Методу «скармливают» оригинальное изображение с низкорослым разрешением, после этого он не совсем только наращивает начальное разрешение крайнего, однако к тому же увеличивает качество отображения, подрисовывая близкие к реальности детали и делая текстуры «более естественными».

    Какую пользу умеют принести нейросети для кино, видеоигр и виртуальной реальности

    Сопоставление свойства текстур: слева уникальная текстура из игры Morrowind, справа – возделанная нейросетью

    Какую пользу умеют принести нейросети для кино, видеоигр и виртуальной реальности

    Персонаж из Doom (слева — существовало, справа — предстало)

    Какую пользу умеют принести нейросети для кино, видеоигр и виртуальной реальности

    Обработка фона в игре Resident Evil 3

    Почитать наиболее тщательно и взглянуть примеры можно перейдя по данной гиперссылке.

    Вроде бы то ни существовало, в перерывах меж ремастерингом «Седьмой Финалки» Стефан Румен решил заняться иным проектом – применять ту самую же технологию машинного обучения, однако уже для обработки кадров традиционного умопомрачительного телесериала 90-х годов. В качестве объекта для тестов Румен избрал «Звездный путь: Далекий космос девять».

    Масштабирование «живого изображения» ТВ-сериала по трудности максимально различается от масштабирования заблаговременно отрендеренного изображения Final Fantasy VII, помечает создатель, потому финишный итог хоть и смотрится приметно предпочтительнее начальных материалов в невысоком разрешении, однако эта картина все гораздо далека от тамошнего эталона, об котором вы могли грезить гораздо с момента возникновения на базаре первых Blu-ray-проигрывателей. Редко на дисплее рождаются маленькие «артефакты». Однако, повторимся, в целом все смотрится наиболее чем достойно. А уж, в общем, следите сами.

    Для заданного проекта Румен а также употреблял метод AI Gigapixel, который был обучен правке изображений на основе настоящих фото. Создатель помечает, что новенькая картина существовала получена в формате 1080p и 4k, однако потому что у Румена нет телека либо дисплея с родным разрешением 4K, правильно оценить 4K-вариант он и не может.

    К огорчению, узреть телесериал полностью в Full HD-качестве нельзя. Процесс обработки всего начального материала занял бы сильно много времени, потому Румен для демонстрации употреблял только отдельные кадры из различных серий. По его словам, он занялся сиим проектом только по одной причине – отобразить, что это же вправду может быть. По его воззрению, целая команда экспертов, действующая в большой телевизионной предприятия и имеющая в собственном распоряжении наиболее благоприятное и сильное для этакий работы компьютерное оборудование сумеет совладать с данной задачей еще предпочтительнее.

    Пользование нейросетей для упрощения работы по обработке древних изображений из видеоигр и кинофильмов являются и не единственными сферами, где этакие технологии способны изъявить свои таланты. В современном мире, где все огромную популярность получают обзорные панорамные видеокамеры, могущие осуществлять с углом 360 градусов, также гарнитуры виртуальной действительности, создатели стали интенсивно обследовать потенциал панорамной съемки.

    Одной из крайних разработок в этом направлении является нейросеть, могущая оглашать панорамные статичные изображения. Ее создателями являются спецы в сфере машинного обучения из Массачусетского, Колумбийского институтов и Вуз Джорджа Мейсона.

    Сделанный метод измеряет тип окружения и объекты на фото, а уж потом подбирает и расставляет звуки из использующейся основы заданных в согласовании с пространственным расчетом расстояния перед началом них источников на этом изображении. Благодаря этому панорамное изображение приобретает близкий к реальности и большой звук, позволяющий совсем заного оценить представленный снимок.

    По воззрению разрабов данной нейросети, разработка может определить энтузиазм посреди разрабов VR-контента (кинофильмов и игр). Крайним в этом случае и не придется накладывать все звуки на панорамное изображение вручную, нейросеть сумеет предпринять все это же без помощи других.

    Подписывайтесь на наш Yandex.Дзен. Там можно определить материалы, кои и не публикуются на медиа-сайте.