Домой Сделай сам! Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D (Обновлено)

Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D (Обновлено)

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Лаборатория компьютерной графики и мультимедиа при Московском государственном университете им. Ломоносова в рамках проекта измерения качества стереоскопического 3D-видео (Video Quality Measurement Tool 3D — VQMT3D) опубликовала очередной, пятый по счёту  исследовательский отчёт о качестве видеоряда новейших голливудских стереоскопических 3D-фильмов.

Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D

Первые качественные исследования известных кассовых голливудских стереоскопических 3D-фильмов в рамках проекта VQMT3D были начаты лабораторией компьютерной графики и мультимедиа под руководством Дмитрия Ватолина ещё в 2010 году, а первый  подробный исследовательский отчёт был опубликован весной 2013 года, и с тех пор такие публикации стали носить регулярный характер. Третий и нынешний, пятый, отчёты отдельно освещают стереоскопические киноленты, полученным путём 2D-3D конвертации.

Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D

Почему болят глаза от 3D-фильмов №5: новая аналитика от VQMT3D

В настоящее время Лабораторией компьютерной графики и мультимедиа при МГУ подготовлено 7 отчетов. Два из них ещё не опубликованы и находятся в стадии проверки и комментирования. В Лаборатории, тем временем, кипит работа над 8 и 9 отчетами.

Вот так выглядит список фильмов в уже опубликованных отчётах (загрузка доступна после регистрации):

Загрузка Report #1 (страница описания):

  • Pirates of the Caribbean: On Stranger Tides – Пираты Карибского моря: на странных берегах
  • Resident Evil: Afterlife – Обитель зла 4: Жизнь после смерти
  • Step Up 3D – Шаг вперёд 3D
  • Galapagos: The Enchanted Voyage – Галапагосы 3D
  • Into the Deep – На дне бездны

Загрузка Report #2 (страница описания):

  • Dolphin Tale – История дельфина
  • Drive Angry – Сумасшедшая езда
  • The Three Musketeers – Три мушкетёра
  • Hugo – Хранитель времени
  • Sanctum – Санктум

Загрузка Report #3 (страница описания):

  • Alice in Wonderland – Алиса в Стране чудес
  • Clash of the Titans – Битва Титанов
  • Conan the Barbarian – Конан Варвар
  • Green Lantern – Зелёный фонарь
  • Abraham Lincoln: Vampire Hunter – Президент Линкольн: Охотник на вампиров

Загрузка Report #4 (страница описания):

  • A Very Harold & Kumar 3D Christmas – Убойное Рождество Гарольда и Кумара
  • Pina – Пина
  • Resident Evil 5: Retribution – Обитель зла 5: Возмездие
  • Step Up Revolution – Шаг вперёд 4
  • The Amazing Spider-Man – Новый Человек-паук

Загрузка Report #5 страница описания:

  • The Avengers – Мстители
  • The Chronicles of Narnia: The Voyage of the Dawn Treader – Хроники Нарнии: Покоритель Зари
  • Gulliver’s Travels – Путешествия Гулливера
  • Immortals – Война богов: Бессмертные
  • Wrath of the Titans – Гнев Титанов

Планы по следующим отчётам выглядят таким образом:

Report 6: Stereo Window Violation

  • Примерный срок релиза:  июнь 2014
  • Floating-window analysis of previously evaluated films (анализ “плавающего окна” в уже рассмотренных ранее фильмах)

Report 7: Stereo Window Violation

  • Примерный срок релиза:  вторая половина 2014
  • Floating-window analysis of previously evaluated films (анализ “плавающего окна” в уже рассмотренных ранее фильмах)

Report 8: Parallax analysis, Temporal Shift, Channels Swap, Zoom mismatch

  • Примерный срок релиза:  вторая половина 2014
  • Analysis of previously evaluated films (анализ ранее рассмотренных фильмов по параметрам параллакса, временного сдвига, перепутанных каналов, несоответствия масштаба)

Report 9: Анализ 100 дисков Blu-ray 3D

  • Примерный срок релиза:  конец 2014

Методика, разработанная в лаборатории компьютерной графики и мультимедиа МГУ и применяемая в рамках проекта VQMT3D, заслуживает отдельного тщательного описания. Определённый процент зрителей, приходящих в кинотеатр на просмотр 3D-фильма, как правило, испытывает разного рода неуютные ощущения: кого-то может “штормить” как на американских горках, кого-то подташнивать, а у некоторых даже кружится голова и болят глаза. Физиология этих эффектов изучена в настоящее время достаточно хорошо, и статистика, собранная офтальмологами по всему миру гласит, что порядка 7-10% зрителей в любом случае испытывают неприятные ощущения при просмотре стереоскопических фильмов, так уж работает их аппарат обработки информации, увиденной зрительным аппаратом, в  интерпретации головного мозга. И здесь уже ничего не поделать: таким зрителям просмотр 3D просто не рекомендован.

Однако у всех остальных зрителей неприятные симптомы гораздо чаще возникают в результате просмотра стереоскопического 3D-контента, некачественно снятого и/или подвергнутого недостаточно качественной пост-обработке. Чтобы не углубляться в дебри физиологии, приведём такой простой пример: вылетающий из кадра в лицо зрителя объёмный объект, безусловно, обеспечит великолепный вау-эффект присутствия, но что будет, если такой объект не “остановится” у нас перед носом, а, образно говоря, продолжит лететь дальше, “пролетев”, согласно вестибулярному аппарату зрителя, внутрь его головы, но всё ещё при этом остающийся на экране? Мозг, пытаясь “отработать” невероятный сигнал, в ответ напрягает глазные мышцы, которые в ответ опять же сообщают мозгу об “аварийной ситуации”, в результате чего мозг в конце концов всё же справляется с возникшей ситуацией обходными защитными путями. Но нагрузка на глазные мышцы и сам мозг при этом просто колоссальная, ни о каком отдыхе и развлечении после этого говорить не приходится, разве что о головной боли.

Некачественное, бракованное стереоскопическое 3D-видео, утомляющее глаза и вызывающее содрогание у вестибулярного аппарата, совсем необязательно связано с глубиной картины и параллаксом. Так, например, наиболее болезненно мозг воспринимает рассогласованность картинки для правого и левого глаза по вертикали: у оператора уже после юстировки, в процессе, слегка наклонилась стереокамера, редактор не заметил этот нюанс, и в результате у зрителя при длительном просмотре такого сюжета гарантированный симптом “раскола мозга”. Ещё один пример: казалось бы, оба объектива стерео 3D-камеры направлены на один объект, расстояние между ними – сантиметры. Но совершенно случайно на один из них упала тень от ветки дерева, в результате чего на выходе, если не исправить программными средствами, получится различный цветовой баланс и яркость картинок для правого и левого глаза, то есть, прощай удовольствие.

Вы удивитесь, узнав, какое огромное количество параметров качества стереоскопической 3D-ленты оценивает методика, разработанная в МГУ и применяемая, в частности, в рамках проекта VQMT3D. Здесь и горизонтальная, и вертикальная рассогласованность каналов для каждого глаза, и несоответствие цветовой гаммы и яркости, и различная чёткость картинки. Авторы кадр за кадром кропотливо исследуют каждый фильм цифровыми методами, и результат предстаёт  не в виде субъективных зрительских оценок и рецензий, но в виде таблиц и графиков с чётко сформулированными и описанными категориями нарушений и  задокументированными отклонениями.

В каждом отчёте VQMT3D идёт описание методики, потенциальных ошибок, вызывающих дискомфорт визуального восприятия стереоскопического кино (в 3 и 5 частях отчёта сделан акцент на специфические проблемы 2D-3D конвертации). Далее следует детальный анализ пяти выбранных фильмов, результаты которого представлены как графиками с числовыми данными, так и визуальными демонстрациями кадров с обнаруженными артефактами. Далее идут сводные оценки по всем рассматриваемым в отчёте фильмам, и, наконец, следует заключение о по результатам сравнительного анализа 2D и 3D версий фильмов.

Методика VQMT3D

Как и в третьем отчете, в пятом сделан акцент на следующие нюансы:

  1. Так называемые “стробящие границы” (разные по резкости границы объектов в правом и левом ракурсе, что вызывает заметный дискомфорт, поскольку ситуация совершенно невозможна в реальной жизни.
  2. Плоские объекты, которые должны быть объемными (в фильмах это часто заметно, например, на бегущих людях). Хотя сделать их объемными, в том числе, с высокой степенью автоматизации, современные алгоритмы позволяют, студии предпочитают экономить, в результате зрители видят сцены, невозможные в реальной жизни.
  3. Естественно, никуда не делся вертикальный параллакс (вертикальный сдвиг “убивающий” стереоэффект и доставляющий дискомфорт).
  4. Также анализируется разница по цвету (как ни странно она есть – как правило из-за ошибок монтажа и тотального отсутствия инструментального контроля качества стерео).

Также анализируется средний бюджет глубины фильмов.

Методика VQMT3D

Методика VQMT3D

В дополнение к этому, в пятом отчёте добавились следующие виды анализа отконвертированных фильмов:

  1. Удалось автоматизировать сравнение 2D и 3D версий. Поскольку  качество 2D версии, как правило, выше в комплект 3D Blu-Ray практически всегда входит 2D версия фильма, до конвертации, а не один из каналов.
  2. Максимальное качество конвертации на большинстве сцен достигается, когда сдвигаются и левый и правый ракурс относительно исходного, а не когда в 2 раза сильнее сдвигается один из каналов, однако даже сдвинуть на в 2 раза меньшее расстояние, как правило,  очень непросто, поэтому приходится прибегать к целому ряду ухищрений.

Методика VQMT3D

Для сравнения, разработчикам пришлось:

  • В автоматическом режиме сопоставлять версии покадрово (в реальности они не совпадают, имеет место быть перемонтаж разной степени серьезности). Не самая простая задача.
  • Далее – выравнивать цвета (как правило цвета 2D и 3D версий отличаются, в частности 3D версия может быть ярче. Это делается для того, чтобы хотя бы частично компенсировать падение яркости при показе (которое на некоторых устройствах, например, телевизорах Samsung, может достигать 7 раз). Но отличается также и цветовое решение, что означало усложнение сопоставления.
  • Далее кадр выравнивался по масштабу, поскольку часто в 3D-версии использовалась увеличенная версия кадра. Проблемы здесь также в том, что часто увеличивался не кадр, а отдельный объект.

В итоге решение этих задач дало богатый урожай отличий 2D- и 3D-версий. Наиболее забавна, конечно, “стрижка”, когда волосы актеров в кадре, из-за несовершенства современных алгоритмов маттирования видео приходилось обрезать (не всегда качественно) в
3D версии, но было также много других интересных моментов. В большинстве случае эти изменения не вызывают дискомфорта, однако есть места, где можно заметить несоответствие, а изредка и невозможные в реальной жизни моменты.

Седьмой вид анализа – автоматический анализ карты диспаритета кадра в сравнении с восстановленной глубиной сцены из движения
камеры.

Глобально тема 3D реконструкции сложна, и, в общем случае, эта задача в автоматическом виде для неизвестной камеры не решена,
однако в целом построить алгоритм, который будет с определенной долей вероятности определять движение камеры, пытаться выделять маскировать движущиеся объекты в сцене (они будут только мешать алгоритму и их выделение, к слову, весьма нетривиально), а по неподвижным объектам – оценивать параметры камеры и глубину – можно. Что и предусмотрено рассматриваемой методикой.

В итоге можно посмотреть 70 страниц примеров из 10 фильмов 3-го и 5-го отчетов, на которых представлены сцены с глубиной стереопары, наиболее не соответствующей реальной глубине 3D-сцены. В очередной раз наблюдается ситуация, когда мы видим что-то невозможное. Например:

Почему болят глаза от 3D фильмов-5

На данный момент разработчики методики работают над новыми метриками, например, над метрикой перепутанных каналов (правый с левым) – эта задача очень проста в постановке, но крайне сложна алгоритмически, особенно, если мы хотим добиться скорости метрики, достаточной для прогона фильмов целиком.

Также у разработчиков методики VQMT3D есть интересные результаты по метрике рассинхронизации во времени. Сейчас она “ловится” с точностью до 1/10 кадра (~1/250 секунды) на быстром вертикальном движении, даже небольшая разница становится очень заметна. При медленном движении подобная разница практически не видна, однако ощущение чего-то неправильного может быть, т.е. показывают что-то не то, но непонятно что.  Примеры из реальных фильмов уже также есть.

Безусловно, наиболее любопытным зрителям тоже интересны факты о том, в каком месте и почему неплохой, казалось бы, фильм, стал вдруг утомительным и даже болезненно напрягающим, однако нужно понимать, что весь этот огромный комплекс проделанной работы в рамках проекта VQMT3D, все эти мощные исследования и титанические усилия адресованы, в первую очередь, тем, кто занимается организацией и производством стереоскопических 3D-фильмов. Как показала практика и статистика исследований VQMT3D, даже мастера и безупречные авторитеты в области стереоскопического 3D-кино допускают порой различного рода технические ошибки.

И в этой связи хотелось бы высказать огромную благодарность всем сотрудникам проекта VQMT3D и лично его руководителю, Дмитрию Ватолину, за поддержку отечественных стереографов. Дело в том, что в последние годы к каждому Международному Московскому  3D-стерео кинофестивалю, по традиции проходящему в декабре каждого года в Москве, представители проекта VQMT3D подготавливают тщательный разбор каждого 3D-фильма, принимающего участие в конкурсной программе Фестиваля. В итоге получается огромный документ почти на 300 страниц (!), плотно насыщенный бесценной информацией. Таким образом, каждый участник, будь он именитый стереографер со стажем или новичок жанра с первым любительским фильмом, получает возможность не только посмотреть и сравнить “на глазок” все представленные работы в рамках конкурсного показа, но также узнать детальный “разбор полётов” по всем фильмам, включая свой, с точным перечислением совершённых ошибок и указанием подробной статистики обнаруженных недочётов по всему хронометражу. Фильму, представленному на конкурс коллективом Total3D.ru, как видите, тоже досталось по заслугам.

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

Анализ фильмов IV Международного Московского 3D-стерео кинофестиваля по методике VQMT3D

К нашему большому сожалению, записи выступления Дмитрия Ватолина с анализом фильмов IV Московского 3D-стерео кинофестиваля 2013 года у нас нет, зато имеется предыдущая видеозапись от декабря 2012 года. Заранее приносим извинения за упущенный в самом начале момент старта презентации.

По словам Дмитрия Ватолина, проект вызывал большой интерес во всём мире, к настоящему времени собрано порядка 600 контактов, из которых порядка 200 – исследователи из Европы, США и Азии, занимающиеся качеством 3D. Планы Лаборатории на Будущее простираются значительно дальше девятого отчёта, их будет гораздо больше, но их порядок и содержание будут зависеть от финансирования проекта, которое на данный момент до конца ещё не уточнено. С большим сожалением приходится отметить, что в отличие от американских инвесторов, финансировавших проект последние 4 года, и южно-азиатских инвесторов, планирующих подключиться к финансированию проекта, отечественные фонды и компании на заявки и предложения пока что отвечают отказами.

В заключение коллектив Total3D.ru хотел бы пожелать проекту VQMT3D и всем сотрудникам лаборатории компьютерной графики и мультимедиа при МГУ успехов во всех их начинаниях. Кстати отметить, кроме проекта VQMT3D лаборатория под руководством Дмитрия Ватолина ведёт множество важнейших исследований в области современных технологий сжатия мультимедийной информации, внося, таким образом, неоценимый вклад в дальнейшее совершенствование различных перспективных кодеков и алгоритмов кодирования информации.

От Дмитрия Ватолина хотелось бы передать приглашение к диалогу со всеми профессионалами в области создания стереоскопического 3D-контента. Сотрудники VQMT3D открыты для сотрудничества в области анализа 3D-фильмов и будут благодарны за любые идеи и содействие в развитии проекта, за отзывы о проделанной ими работе со стороны всех участников процесса производства фильмов.

Связаться с командой VQMT3D можно с помощью контактов, указанных на этой странице.

Ссылки по теме: