Лаборатория компьютерной графики и мультимедиа при Московском государственном университете им. Ломоносова в рамках проекта измерения качества стереоскопического 3D-видео (Video Quality Measurement Tool 3D — VQMT3D) опубликовала очередной, пятый по счёту исследовательский отчёт о качестве видеоряда новейших голливудских стереоскопических 3D-фильмов.
Первые качественные исследования известных кассовых голливудских стереоскопических 3D-фильмов в рамках проекта VQMT3D были начаты лабораторией компьютерной графики и мультимедиа под руководством Дмитрия Ватолина ещё в 2010 году, а первый подробный исследовательский отчёт был опубликован весной 2013 года, и с тех пор такие публикации стали носить регулярный характер. Третий и нынешний, пятый, отчёты отдельно освещают стереоскопические киноленты, полученным путём 2D-3D конвертации.
В настоящее время Лабораторией компьютерной графики и мультимедиа при МГУ подготовлено 7 отчетов. Два из них ещё не опубликованы и находятся в стадии проверки и комментирования. В Лаборатории, тем временем, кипит работа над 8 и 9 отчетами.
Вот так выглядит список фильмов в уже опубликованных отчётах (загрузка доступна после регистрации):
Загрузка Report #1 (страница описания):
- Pirates of the Caribbean: On Stranger Tides – Пираты Карибского моря: на странных берегах
- Resident Evil: Afterlife – Обитель зла 4: Жизнь после смерти
- Step Up 3D – Шаг вперёд 3D
- Galapagos: The Enchanted Voyage – Галапагосы 3D
- Into the Deep – На дне бездны
Загрузка Report #2 (страница описания):
- Dolphin Tale – История дельфина
- Drive Angry – Сумасшедшая езда
- The Three Musketeers – Три мушкетёра
- Hugo – Хранитель времени
- Sanctum – Санктум
Загрузка Report #3 (страница описания):
- Alice in Wonderland – Алиса в Стране чудес
- Clash of the Titans – Битва Титанов
- Conan the Barbarian – Конан Варвар
- Green Lantern – Зелёный фонарь
- Abraham Lincoln: Vampire Hunter – Президент Линкольн: Охотник на вампиров
Загрузка Report #4 (страница описания):
- A Very Harold & Kumar 3D Christmas – Убойное Рождество Гарольда и Кумара
- Pina – Пина
- Resident Evil 5: Retribution – Обитель зла 5: Возмездие
- Step Up Revolution – Шаг вперёд 4
- The Amazing Spider-Man – Новый Человек-паук
Загрузка Report #5 страница описания:
- The Avengers – Мстители
- The Chronicles of Narnia: The Voyage of the Dawn Treader – Хроники Нарнии: Покоритель Зари
- Gulliver’s Travels – Путешествия Гулливера
- Immortals – Война богов: Бессмертные
- Wrath of the Titans – Гнев Титанов
Планы по следующим отчётам выглядят таким образом:
Report 6: Stereo Window Violation
- Примерный срок релиза: июнь 2014
- Floating-window analysis of previously evaluated films (анализ “плавающего окна” в уже рассмотренных ранее фильмах)
Report 7: Stereo Window Violation
- Примерный срок релиза: вторая половина 2014
- Floating-window analysis of previously evaluated films (анализ “плавающего окна” в уже рассмотренных ранее фильмах)
Report 8: Parallax analysis, Temporal Shift, Channels Swap, Zoom mismatch
- Примерный срок релиза: вторая половина 2014
- Analysis of previously evaluated films (анализ ранее рассмотренных фильмов по параметрам параллакса, временного сдвига, перепутанных каналов, несоответствия масштаба)
Report 9: Анализ 100 дисков Blu-ray 3D
- Примерный срок релиза: конец 2014
Методика, разработанная в лаборатории компьютерной графики и мультимедиа МГУ и применяемая в рамках проекта VQMT3D, заслуживает отдельного тщательного описания. Определённый процент зрителей, приходящих в кинотеатр на просмотр 3D-фильма, как правило, испытывает разного рода неуютные ощущения: кого-то может “штормить” как на американских горках, кого-то подташнивать, а у некоторых даже кружится голова и болят глаза. Физиология этих эффектов изучена в настоящее время достаточно хорошо, и статистика, собранная офтальмологами по всему миру гласит, что порядка 7-10% зрителей в любом случае испытывают неприятные ощущения при просмотре стереоскопических фильмов, так уж работает их аппарат обработки информации, увиденной зрительным аппаратом, в интерпретации головного мозга. И здесь уже ничего не поделать: таким зрителям просмотр 3D просто не рекомендован.
Однако у всех остальных зрителей неприятные симптомы гораздо чаще возникают в результате просмотра стереоскопического 3D-контента, некачественно снятого и/или подвергнутого недостаточно качественной пост-обработке. Чтобы не углубляться в дебри физиологии, приведём такой простой пример: вылетающий из кадра в лицо зрителя объёмный объект, безусловно, обеспечит великолепный вау-эффект присутствия, но что будет, если такой объект не “остановится” у нас перед носом, а, образно говоря, продолжит лететь дальше, “пролетев”, согласно вестибулярному аппарату зрителя, внутрь его головы, но всё ещё при этом остающийся на экране? Мозг, пытаясь “отработать” невероятный сигнал, в ответ напрягает глазные мышцы, которые в ответ опять же сообщают мозгу об “аварийной ситуации”, в результате чего мозг в конце концов всё же справляется с возникшей ситуацией обходными защитными путями. Но нагрузка на глазные мышцы и сам мозг при этом просто колоссальная, ни о каком отдыхе и развлечении после этого говорить не приходится, разве что о головной боли.
Некачественное, бракованное стереоскопическое 3D-видео, утомляющее глаза и вызывающее содрогание у вестибулярного аппарата, совсем необязательно связано с глубиной картины и параллаксом. Так, например, наиболее болезненно мозг воспринимает рассогласованность картинки для правого и левого глаза по вертикали: у оператора уже после юстировки, в процессе, слегка наклонилась стереокамера, редактор не заметил этот нюанс, и в результате у зрителя при длительном просмотре такого сюжета гарантированный симптом “раскола мозга”. Ещё один пример: казалось бы, оба объектива стерео 3D-камеры направлены на один объект, расстояние между ними – сантиметры. Но совершенно случайно на один из них упала тень от ветки дерева, в результате чего на выходе, если не исправить программными средствами, получится различный цветовой баланс и яркость картинок для правого и левого глаза, то есть, прощай удовольствие.
Вы удивитесь, узнав, какое огромное количество параметров качества стереоскопической 3D-ленты оценивает методика, разработанная в МГУ и применяемая, в частности, в рамках проекта VQMT3D. Здесь и горизонтальная, и вертикальная рассогласованность каналов для каждого глаза, и несоответствие цветовой гаммы и яркости, и различная чёткость картинки. Авторы кадр за кадром кропотливо исследуют каждый фильм цифровыми методами, и результат предстаёт не в виде субъективных зрительских оценок и рецензий, но в виде таблиц и графиков с чётко сформулированными и описанными категориями нарушений и задокументированными отклонениями.
В каждом отчёте VQMT3D идёт описание методики, потенциальных ошибок, вызывающих дискомфорт визуального восприятия стереоскопического кино (в 3 и 5 частях отчёта сделан акцент на специфические проблемы 2D-3D конвертации). Далее следует детальный анализ пяти выбранных фильмов, результаты которого представлены как графиками с числовыми данными, так и визуальными демонстрациями кадров с обнаруженными артефактами. Далее идут сводные оценки по всем рассматриваемым в отчёте фильмам, и, наконец, следует заключение о по результатам сравнительного анализа 2D и 3D версий фильмов.
Как и в третьем отчете, в пятом сделан акцент на следующие нюансы:
- Так называемые “стробящие границы” (разные по резкости границы объектов в правом и левом ракурсе, что вызывает заметный дискомфорт, поскольку ситуация совершенно невозможна в реальной жизни.
- Плоские объекты, которые должны быть объемными (в фильмах это часто заметно, например, на бегущих людях). Хотя сделать их объемными, в том числе, с высокой степенью автоматизации, современные алгоритмы позволяют, студии предпочитают экономить, в результате зрители видят сцены, невозможные в реальной жизни.
- Естественно, никуда не делся вертикальный параллакс (вертикальный сдвиг “убивающий” стереоэффект и доставляющий дискомфорт).
- Также анализируется разница по цвету (как ни странно она есть – как правило из-за ошибок монтажа и тотального отсутствия инструментального контроля качества стерео).
Также анализируется средний бюджет глубины фильмов.
В дополнение к этому, в пятом отчёте добавились следующие виды анализа отконвертированных фильмов:
- Удалось автоматизировать сравнение 2D и 3D версий. Поскольку качество 2D версии, как правило, выше в комплект 3D Blu-Ray практически всегда входит 2D версия фильма, до конвертации, а не один из каналов.
- Максимальное качество конвертации на большинстве сцен достигается, когда сдвигаются и левый и правый ракурс относительно исходного, а не когда в 2 раза сильнее сдвигается один из каналов, однако даже сдвинуть на в 2 раза меньшее расстояние, как правило, очень непросто, поэтому приходится прибегать к целому ряду ухищрений.
Для сравнения, разработчикам пришлось:
- В автоматическом режиме сопоставлять версии покадрово (в реальности они не совпадают, имеет место быть перемонтаж разной степени серьезности). Не самая простая задача.
- Далее – выравнивать цвета (как правило цвета 2D и 3D версий отличаются, в частности 3D версия может быть ярче. Это делается для того, чтобы хотя бы частично компенсировать падение яркости при показе (которое на некоторых устройствах, например, телевизорах Samsung, может достигать 7 раз). Но отличается также и цветовое решение, что означало усложнение сопоставления.
- Далее кадр выравнивался по масштабу, поскольку часто в 3D-версии использовалась увеличенная версия кадра. Проблемы здесь также в том, что часто увеличивался не кадр, а отдельный объект.
В итоге решение этих задач дало богатый урожай отличий 2D- и 3D-версий. Наиболее забавна, конечно, “стрижка”, когда волосы актеров в кадре, из-за несовершенства современных алгоритмов маттирования видео приходилось обрезать (не всегда качественно) в
3D версии, но было также много других интересных моментов. В большинстве случае эти изменения не вызывают дискомфорта, однако есть места, где можно заметить несоответствие, а изредка и невозможные в реальной жизни моменты.
Седьмой вид анализа – автоматический анализ карты диспаритета кадра в сравнении с восстановленной глубиной сцены из движения
камеры.
Глобально тема 3D реконструкции сложна, и, в общем случае, эта задача в автоматическом виде для неизвестной камеры не решена,
однако в целом построить алгоритм, который будет с определенной долей вероятности определять движение камеры, пытаться выделять маскировать движущиеся объекты в сцене (они будут только мешать алгоритму и их выделение, к слову, весьма нетривиально), а по неподвижным объектам – оценивать параметры камеры и глубину – можно. Что и предусмотрено рассматриваемой методикой.
В итоге можно посмотреть 70 страниц примеров из 10 фильмов 3-го и 5-го отчетов, на которых представлены сцены с глубиной стереопары, наиболее не соответствующей реальной глубине 3D-сцены. В очередной раз наблюдается ситуация, когда мы видим что-то невозможное. Например:
На данный момент разработчики методики работают над новыми метриками, например, над метрикой перепутанных каналов (правый с левым) – эта задача очень проста в постановке, но крайне сложна алгоритмически, особенно, если мы хотим добиться скорости метрики, достаточной для прогона фильмов целиком.
Также у разработчиков методики VQMT3D есть интересные результаты по метрике рассинхронизации во времени. Сейчас она “ловится” с точностью до 1/10 кадра (~1/250 секунды) на быстром вертикальном движении, даже небольшая разница становится очень заметна. При медленном движении подобная разница практически не видна, однако ощущение чего-то неправильного может быть, т.е. показывают что-то не то, но непонятно что. Примеры из реальных фильмов уже также есть.
Безусловно, наиболее любопытным зрителям тоже интересны факты о том, в каком месте и почему неплохой, казалось бы, фильм, стал вдруг утомительным и даже болезненно напрягающим, однако нужно понимать, что весь этот огромный комплекс проделанной работы в рамках проекта VQMT3D, все эти мощные исследования и титанические усилия адресованы, в первую очередь, тем, кто занимается организацией и производством стереоскопических 3D-фильмов. Как показала практика и статистика исследований VQMT3D, даже мастера и безупречные авторитеты в области стереоскопического 3D-кино допускают порой различного рода технические ошибки.
И в этой связи хотелось бы высказать огромную благодарность всем сотрудникам проекта VQMT3D и лично его руководителю, Дмитрию Ватолину, за поддержку отечественных стереографов. Дело в том, что в последние годы к каждому Международному Московскому 3D-стерео кинофестивалю, по традиции проходящему в декабре каждого года в Москве, представители проекта VQMT3D подготавливают тщательный разбор каждого 3D-фильма, принимающего участие в конкурсной программе Фестиваля. В итоге получается огромный документ почти на 300 страниц (!), плотно насыщенный бесценной информацией. Таким образом, каждый участник, будь он именитый стереографер со стажем или новичок жанра с первым любительским фильмом, получает возможность не только посмотреть и сравнить “на глазок” все представленные работы в рамках конкурсного показа, но также узнать детальный “разбор полётов” по всем фильмам, включая свой, с точным перечислением совершённых ошибок и указанием подробной статистики обнаруженных недочётов по всему хронометражу. Фильму, представленному на конкурс коллективом Total3D.ru, как видите, тоже досталось по заслугам.
К нашему большому сожалению, записи выступления Дмитрия Ватолина с анализом фильмов IV Московского 3D-стерео кинофестиваля 2013 года у нас нет, зато имеется предыдущая видеозапись от декабря 2012 года. Заранее приносим извинения за упущенный в самом начале момент старта презентации.
По словам Дмитрия Ватолина, проект вызывал большой интерес во всём мире, к настоящему времени собрано порядка 600 контактов, из которых порядка 200 – исследователи из Европы, США и Азии, занимающиеся качеством 3D. Планы Лаборатории на Будущее простираются значительно дальше девятого отчёта, их будет гораздо больше, но их порядок и содержание будут зависеть от финансирования проекта, которое на данный момент до конца ещё не уточнено. С большим сожалением приходится отметить, что в отличие от американских инвесторов, финансировавших проект последние 4 года, и южно-азиатских инвесторов, планирующих подключиться к финансированию проекта, отечественные фонды и компании на заявки и предложения пока что отвечают отказами.
В заключение коллектив Total3D.ru хотел бы пожелать проекту VQMT3D и всем сотрудникам лаборатории компьютерной графики и мультимедиа при МГУ успехов во всех их начинаниях. Кстати отметить, кроме проекта VQMT3D лаборатория под руководством Дмитрия Ватолина ведёт множество важнейших исследований в области современных технологий сжатия мультимедийной информации, внося, таким образом, неоценимый вклад в дальнейшее совершенствование различных перспективных кодеков и алгоритмов кодирования информации.
От Дмитрия Ватолина хотелось бы передать приглашение к диалогу со всеми профессионалами в области создания стереоскопического 3D-контента. Сотрудники VQMT3D открыты для сотрудничества в области анализа 3D-фильмов и будут благодарны за любые идеи и содействие в развитии проекта, за отзывы о проделанной ими работе со стороны всех участников процесса производства фильмов.
Связаться с командой VQMT3D можно с помощью контактов, указанных на этой странице.
Ссылки по теме:
- Качественное стерео 3D: десять заповедей доктора Джима
- Интервью с Майклом Льюисом, сооснователем, руководителем и CEO компании RealD
- Стерео 3D и человек: для чего действительно хорош объём?
- 3D-видео: вред или польза для глаз?
- 2D-очки: для тех, у кого болит голова от 3D-фильмов
- Здоровье: о мнимом и настоящем влиянии 3D на здоровье и зрение детей
- Дж. Кэмерон: про 2D+3D, или почему не нужно бояться стереокино
- Почему “Титаник” стоит смотреть в стерео 3D
- Джеймс Кэмерон: сценарии трёх новых «Аватаров» почти готовы
- Голливуд против 3D-халтурщиков: советы начинающим
- «Хоббит 3D», или правдивая история про 48 кадров в секунду
- IV Международный 3D-стерео кинофестиваль 2013: добро пожаловать!
