Проект VQMT3D: перепутанные каналы есть даже в 3D-фильмах Голливуда!

Несколько месяцев назад мы впервые представили читателям Total3D.ru уникальный проект Лаборатории компьютерной графики и мультимедиа при Московском государственном университете им. Ломоносова по измерению качества стереоскопического 3D-видео (Video Quality Measurement Tool 3D – VQMT3D) с учётом множества критичных для зрителя параметров.

И вот сегодня спешим сообщить об очередном успешном прорыве проекта VQMT3D: в исследовательский пакет впервые добавлен один из сложнейших алгоритмов оценки параметров качества 3D – так называемый Channels Mismatch (несоответствие каналов), то есть, по сути, алгоритм обнаружения фрагментов с перепутанными местами правым и левым каналами видео. Более того, специалисты Лаборатории компьютерной графики и мультимедиа при МГУ на сегодняшний день уже проанализировали 43 фильма, включая известнейшие стереоскопические голливудские ленты, при этом было найдено 14 сцен с проблемой Channels Mismatch в 13 фильмах.

Напомним, что уникальность методики VQMT3D заключается в том, что с помощью входящего в тестовый пакет набора алгоритмов, можно исследовать любой стереоскопический 3D-фильм — будь то бюджетная любительская зарисовка или голливудский блокбастер с умопомрачительным бюджетом, на предмет наличия технических ошибок самого широкого спектра, сделанных в процессе съёмки и пост-продакшна. Подобная экспертиза охватывает такие проблемы как горизонтальная и вертикальная рассогласованность каналов для каждого глаза, несоответствие цветовой гаммы, яркости, чёткости картинки каналов и многое другое (а теперь ещё и перепутанные каналы).

Результат такого исследования предстаёт не в виде субъективных зрительских оценок и рецензий, но в виде совершенно объективных таблиц и графиков с чётко сформулированными и описанными категориями нарушений и задокументированными отклонениями. Ценность такой экспертизы трудно переоценить, ибо для каждого проекта появляется уникальная возможность исправить всех огрехи стереоскопического кинопроизводства до выхода 3D-фильма на большой экран, что, как минимум, гарантирует отсутствие зрительских жалоб на непонятные головные боли и неприятные ощущения, возникающие в процессе просмотра некачественных лент.

Подробнее о методике тестирования  VQMT3D, о готовых и планирующихся к выходу отчётах лаборатории можно почитать в нашей майской публикации Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D. Сегодня же мы представляем свежайшие результаты исследований с новым алгоритмом Channels Mismatch.  И по этому поводу есть сразу две новости, как водится, хорошая и плохая.

Хорошая новость заключается в том, что если в фильме встретятся перепутанные каналы, это будет одна сцена на фильм (как правило, короткая). Плохая новость – таких фильмов 30% (!) даже среди того, что идет в кинотеатрах. Даже для опытных исследователей VQMT3D такое количество случаев перепутанных каналов в профессиональных фильмах оказалось неожиданно высоким.

Условно классический подход к обнаружению Channels Mismatch – это анализ движения в сцене и формирование Depth Ordering для движущихся сегментов по моно-видео, и далее сравнение полученной глубины с картой глубин по стерео. Это в целом хорошая стратегия, но подобные алгоритмы работают крайне медленно. Сейчас алгоритм построен на 3 простых признаках классификации плюс анализе оклюженов (областей открытия-закрытия) во времени и в стерео. Алгоритм работает относительно быстро, но дает много ложных срабатываний.

К счастью, для Channels Mismatch довольно легко готовить тестовую выборку: достаточно взять 1000 сцен и в части сцен поменять местами правый и левый каналы. На данный момент алгоритм настроен на порог 95%, дающий максимально приемлемое количество проверяемых руками ложных срабатываний. То есть, примерно 1 сцена на 20 пропускается. Таким образом, на 14 найденных сцен можно предположить среднестатистически только одну пропущенную.

Расклад по найденным сценам выглядит так:

Ошибка Capturing CM – это факт чисто механически перепутанных правого и левого каналов, а вот ошибка VFX CM – это когда речь идёт о неправильной глубине у отдельного наложенного объекта, чаще таким образом путают левый и правый каналы, накладывая графику поверх снятой картинки. Поскольку алгоритм анализирует любые неправильные перекрытия, на такие сцены он также реагирует, ибо  в данном случае также получается “невозможная” с точки зрения мозга человека сцена.

Перепроверка результатов независимыми экспертами только приветствуется.

Как бы это не выглядело неожиданно, но отметились даже такие громкие проекты как “Аватар” (бюджет $237 млн) и “Хранитель времени” ($170 млн), “Хроники Нарнии” ($155 млн) и даже “Гарри Поттер”.

Также хорошо видно, что подавляющее большинство найденных сцен очень короткие – меньше четырех секунд. При этом 5 сцен короче секунды. Именно поэтому, скорее всего, их пропускают при контрольном просмотре фильма глазами: скорее всего, мозг просто не успевает отреагировать должным образом. Но особенность стерео в том, что дискомфорт от подобных сцен накапливается, что увеличивает процент выходящих из кинотеатра с головной болью.

Очевидно, что через 10 лет появятся инструменты автоматического анализа, которые позволят определять подобные сцены быстро и безошибочно, и даже спутниковые 3D каналы смогут поднять качество контента. Но пока в этом направлении еще довольно много работы. Тем не менее первые результаты вселяют надежду.

От Дмитрия Ватолина, руководителя Лаборатории компьютерной графики и мультимедиа при МГУ и проекта VQMT3D, хотелось бы передать приглашение к диалогу со всеми профессионалами в области создания стереоскопического 3D-контента. Сотрудники VQMT3D открыты для сотрудничества в области анализа 3D-фильмов и будут благодарны за любые идеи и содействие в развитии проекта, за отзывы о проделанной ими работе со стороны всех участников процесса производства фильмов.

Связаться с командой VQMT3D можно с помощью контактов, указанных на этой странице.

Ссылки по теме:

• Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D
• Качественное стерео 3D: десять заповедей доктора Джима
• Интервью с Майклом Льюисом, сооснователем, руководителем и CEO компании RealD
• Стерео 3D и человек: для чего действительно хорош объём?
• 3D-видео: вред или польза для глаз?
• 2D-очки: для тех, у кого болит голова от 3D-фильмов
• Здоровье: о мнимом и настоящем влиянии 3D на здоровье и зрение детей
• Дж. Кэмерон: про 2D+3D, или почему не нужно бояться стереокино
• Почему “Титаник” стоит смотреть в стерео 3D
• Джеймс Кэмерон: сценарии трёх новых «Аватаров» почти готовы
• Голливуд против 3D-халтурщиков: советы начинающим
• «Хоббит 3D», или правдивая история про 48 кадров в секунду
• IV Международный 3D-стерео кинофестиваль 2013: добро пожаловать!