Российские ученые придумали новый метод обработки видео. На основе нейросетей

Ученые из Университета МИСиС совместно с коллегами из НИУ ВШЭ предложили способ выделять из видеороликов главное и значительно экономить время

Как сообщает пресс-служба МИСиС, новый метод будет особенно актуален для тех областей, где требуется быстрый анализ большого количества видеоматериалов — например, в системах наблюдения, образовательных проектах или спортивных мероприятиях.

Существует два основных подхода к сжатию видео — создание статической последовательности ключевых кадров и формирование ролика из важных моментов в хронологическом порядке.

«Разработанная модель включает в себя многослойный многоуровневый модуль внимания, похожий на трансформатор, который позволяет одновременно обрабатывать входные элементы и предотвращает замедление, вызванное рекуррентными нейронными сетями, использующимися в предыдущих подходах», — объяснил директор центра ИИ НИТУ МИСИС Илья Макаров.

«Особенностью модели является использование позиционного энкодера, который учитывает временную информацию и повышает качество обобщения. Эта технология была протестирована на двух эталонных наборах данных и показала высокую эффективность», — добавил он.

Новый метод выбирает ключевые моменты, уменьшая общую продолжительность видео. Это позволяет сохранить основной контент и при этом сделать видео более коротким. Результаты исследования подтвердили, что новая модель обработки видео дает не только конкурентные результаты, но и превосходит существующие аналоги. Это открывает новые возможности для использования контента и делает его более доступным для широкой аудитории. 

Здесь мы рассказываем про лучшие программы для обработки видео на смартфоне:

Freepik