Домой Сделай сам! Проект VQMT3D: перепутанные каналы есть даже в 3D-фильмах Голливуда!

Проект VQMT3D: перепутанные каналы есть даже в 3D-фильмах Голливуда!

«Аватар» в 3D: новые подробности о продолжении истории

Несколько месяцев назад мы впервые представили читателям Total3D.ru уникальный проект Лаборатории компьютерной графики и мультимедиа при Московском государственном университете им. Ломоносова по измерению качества стереоскопического 3D-видео (Video Quality Measurement Tool 3D – VQMT3D) с учётом множества критичных для зрителя параметров.

И вот сегодня спешим сообщить об очередном успешном прорыве проекта VQMT3D: в исследовательский пакет впервые добавлен один из сложнейших алгоритмов оценки параметров качества 3D – так называемый Channels Mismatch (несоответствие каналов), то есть, по сути, алгоритм обнаружения фрагментов с перепутанными местами правым и левым каналами видео. Более того, специалисты Лаборатории компьютерной графики и мультимедиа при МГУ на сегодняшний день уже проанализировали 43 фильма, включая известнейшие стереоскопические голливудские ленты, при этом было найдено 14 сцен с проблемой Channels Mismatch в 13 фильмах.

Напомним, что уникальность методики VQMT3D заключается в том, что с помощью входящего в тестовый пакет набора алгоритмов, можно исследовать любой стереоскопический 3D-фильм — будь то бюджетная любительская зарисовка или голливудский блокбастер с умопомрачительным бюджетом, на предмет наличия технических ошибок самого широкого спектра, сделанных в процессе съёмки и пост-продакшна. Подобная экспертиза охватывает такие проблемы как горизонтальная и вертикальная рассогласованность каналов для каждого глаза, несоответствие цветовой гаммы, яркости, чёткости картинки каналов и многое другое (а теперь ещё и перепутанные каналы).

Методика VQMT3D

Результат такого исследования предстаёт не в виде субъективных зрительских оценок и рецензий, но в виде совершенно объективных таблиц и графиков с чётко сформулированными и описанными категориями нарушений и задокументированными отклонениями. Ценность такой экспертизы трудно переоценить, ибо для каждого проекта появляется уникальная возможность исправить всех огрехи стереоскопического кинопроизводства до выхода 3D-фильма на большой экран, что, как минимум, гарантирует отсутствие зрительских жалоб на непонятные головные боли и неприятные ощущения, возникающие в процессе просмотра некачественных лент.

Подробнее о методике тестирования  VQMT3D, о готовых и планирующихся к выходу отчётах лаборатории можно почитать в нашей майской публикации Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D. Сегодня же мы представляем свежайшие результаты исследований с новым алгоритмом Channels Mismatch.  И по этому поводу есть сразу две новости, как водится, хорошая и плохая.

Хорошая новость заключается в том, что если в фильме встретятся перепутанные каналы, это будет одна сцена на фильм (как правило, короткая). Плохая новость – таких фильмов 30% (!) даже среди того, что идет в кинотеатрах. Даже для опытных исследователей VQMT3D такое количество случаев перепутанных каналов в профессиональных фильмах оказалось неожиданно высоким.

Условно классический подход к обнаружению Channels Mismatch – это анализ движения в сцене и формирование Depth Ordering для движущихся сегментов по моно-видео, и далее сравнение полученной глубины с картой глубин по стерео. Это в целом хорошая стратегия, но подобные алгоритмы работают крайне медленно. Сейчас алгоритм построен на 3 простых признаках классификации плюс анализе оклюженов (областей открытия-закрытия) во времени и в стерео. Алгоритм работает относительно быстро, но дает много ложных срабатываний.

К счастью, для Channels Mismatch довольно легко готовить тестовую выборку: достаточно взять 1000 сцен и в части сцен поменять местами правый и левый каналы. На данный момент алгоритм настроен на порог 95%, дающий максимально приемлемое количество проверяемых руками ложных срабатываний. То есть, примерно 1 сцена на 20 пропускается. Таким образом, на 14 найденных сцен можно предположить среднестатистически только одну пропущенную.

Расклад по найденным сценам выглядит так:

Название фильма Продолжительность сцены, секунд Тип ошибки Временной штамп, HH:MM:SS Номер кадра
Hugo 6,841 Capturing CM 00:04:04.327 5858
Ghost Rider: Spirit of Vengeance 4,63 Capturing CM 01:08:01.327 97854
Stalingrad 4,296 Capturing CM 00:59:49.795 86069
Hugo 3,42 Capturing CM 00:03:54.568 5624
Avatar 3,336 Capturing CM 00:01:00.936 1461
Spy Kids: All the Time in the World in 4D 2,962 Capturing CM 00:27:34.403 39666
Harry Potter and the Deathly Hallows: Part 2 2,878 Capturing CM 00:13:47.702 19845
The Chronicles of Narnia: The Voyage of the Dawn Treader 2,586 VFX CM 01:42:55.461 148063
Conan the Barbarian 1,168 Capturing CM 01:32:50.231 133552
Step Up 3D 0,876 VFX CM 01:40:31.984 144623
Clash of the Titans 0,709 VFX CM 00:38:19.672 55137
Drive Angry 0,668 Capturing CM 00:52:37.279 75699
A Very Harold & Kumar 3D Christmas 0,501 VFX CM 00:09:50.548 14159
The Three Musketeers 0,5 VFX CM 00:05:40.966 8175

Ошибка Capturing CM – это факт чисто механически перепутанных правого и левого каналов, а вот ошибка VFX CM – это когда речь идёт о неправильной глубине у отдельного наложенного объекта, чаще таким образом путают левый и правый каналы, накладывая графику поверх снятой картинки. Поскольку алгоритм анализирует любые неправильные перекрытия, на такие сцены он также реагирует, ибо  в данном случае также получается “невозможная” с точки зрения мозга человека сцена.

Перепроверка результатов независимыми экспертами только приветствуется.

Как бы это не выглядело неожиданно, но отметились даже такие громкие проекты как “Аватар” (бюджет $237 млн) и “Хранитель времени” ($170 млн), “Хроники Нарнии” ($155 млн) и даже “Гарри Поттер”.

Также хорошо видно, что подавляющее большинство найденных сцен очень короткие – меньше четырех секунд. При этом 5 сцен короче секунды. Именно поэтому, скорее всего, их пропускают при контрольном просмотре фильма глазами: скорее всего, мозг просто не успевает отреагировать должным образом. Но особенность стерео в том, что дискомфорт от подобных сцен накапливается, что увеличивает процент выходящих из кинотеатра с головной болью.

Очевидно, что через 10 лет появятся инструменты автоматического анализа, которые позволят определять подобные сцены быстро и безошибочно, и даже спутниковые 3D каналы смогут поднять качество контента. Но пока в этом направлении еще довольно много работы. Тем не менее первые результаты вселяют надежду.

От Дмитрия Ватолина, руководителя Лаборатории компьютерной графики и мультимедиа при МГУ и проекта VQMT3D, хотелось бы передать приглашение к диалогу со всеми профессионалами в области создания стереоскопического 3D-контента. Сотрудники VQMT3D открыты для сотрудничества в области анализа 3D-фильмов и будут благодарны за любые идеи и содействие в развитии проекта, за отзывы о проделанной ими работе со стороны всех участников процесса производства фильмов.

Связаться с командой VQMT3D можно с помощью контактов, указанных на этой странице.

Ссылки по теме: