Компания NTT Docomo, крупнейший мобильный оператор Японии (более 77 млн абонентов) объявила о разработке и успешном испытании первой, по ее заявлению, в мире системы виртуальной реальности (Virtual Reality, VR) с поддержкой потокового 3D-видео с качеством 8K и скоростью 60 кадров в секунду через мобильную сеть 5G. Система, среди прочего, включает специальный 3D VR-шлем.
Впервые прототип 360-градусной 8K VR-системы для прямого онлайн-стриминга был представлен Docomo еще в июне 2018 года. За прошедшее время система, согласно официальному пресс-релизу компании, была полностью переработана.
Список усовершенствований, среди прочего, включает обновленную систему 8K-кодирования, обеспечивающую плавную смену кадров до 60 fps и специальную 3D-камеру для стриминга 8K-видео в реальном времени, а также программируемую матрицу (FPGA) для сверхбыстрой сшивки нескольких потоков в единое сферическое видео.
В рамках партнерской программы компания Yamaha обеспечила систему поддержкой новой аудио технологии ViReal 3D на базе сферического 3D-микрофона для 64-канальной записи звука и последующего его воспроизведения с формированием всенаправленной звуковой картины через стандартные стерео наушники.
Основная идея создания такой системы заключается в возможности просмотра различных событий – спортивных, театральных, выставочных, с максимальным эффектом присутствия в реальном времени. Сочетание 360-градусного 3D VR-окружения с хорошим звуком и высоким качеством 8K/60 fps становится впервые реальностью благодаря передаче мощного потокового трафика через сеть 5G с минимальными задержками.
В начале февраля 2019 года Docomo в содружестве с вещательной компанией Hokkaido Television Broadcasting (HTB) и производителем оборудования для 5G-сетей NEC Corporation провела успешные испытания своей стриминговой 360-градусной 8K 3D VR-системы в рамках знаменитого семидневного Снежного Фестиваля в Саппоро (Sapporo Snow Festival 2019) в Хоккайдо.
Для пробной трансляции новой технологии был задействован выделенный фестивальный стенд Docomo. Организация трансляции была подготовлена в рамках специальной открытой партнерской программы Docomo 5G, в которую также входят Yamaha, HTB, NEC и другие компании.
На стенде Docomo была установлена система из девяти 3D-камер с разрешением 4К каждая. Далее с помощью нескольких компьютеров девять стерео 3D-потоков 4K-видео в реальном времени сшивались в два 360-градусных 8K 3D-видеопотока. Отдельный компьютер был задействован для обработки данных 64-канального 3D-микрофона с последующим его преобразованием в 36-канальный 3D-аудиопоток.
Суммарный поток передающихся в сеть данных включает панорамное 8K стерео 3D-видео и стереофонический аудиоканал, объемная звуковая картина в котором изменяется в зависимости от поворота головы пользователя. Далее после компрессии поток данных передается в мобильную сеть, для чего на стенде была задействована базовая станция 5G компании NEC, оснащенная многоканальной (MIMO) антенной, работающая в диапазоне 4,5 ГГц и обеспечивающая передачу данных со скоростью более 5 Гбит/с.
Итак, сети 5G практически уже на горизонте, их появление и коммерческий запуск в ближайшие два-три года не вопрос. Оборудование для съемки, сшивки, сжатия и передачи данных также на пороге запуска в серийное производство – осталось разве что еще немного «поколдовать» над кодеками да упаковать несколько систем в один специализированный комплекс. Но открытым остается главный вопрос: готовы ли пользовательские VR-шлемы к работе с 360-градусным 8K 3D VR-контентом, передаваемым в реальном времени?
В Docomo систему для приема такого 8K 3D VR-контента описывают как «панорамный супер панорамная аудиовизуальная воспроизводящая супер-гарнитура» (panoramic super player audiovisual headset) и показывают VR-шлем HTC Vive Pro, который с большой вероятностью использовался для полевых испытаний платформы.
Разумеется, коммерческой версии 5G-совместимого VR-шлема на сегодняшний день нет ни у Vive, ни у кого бы то ни было, скорее всего, речь о прототипе или о специально адаптированном образце. Тем не менее, по мере запуска мобильных сетей 5G и появления соответствующих смартфонов и модемов, в том числе, встраиваемых, вряд ли создание такого шлема станет проблемой. Разве что какое-то время понадобится на то, чтобы его цена пришла к более-менее приемлемому для массового потребителя уровню.
В HTC также отмечают, что их VR-шлемы Vive будут вовремя готовы к запуску коммерческих сетей 5G – ориентировочно уже в 2020 году. По крайней мере, Qualcomm также уже готова поставлять соответствующую модемную 5G-обвязку.
В дальнейшем Docomo обещает продолжить разработку технологий для потоковой передачи и просмотра высококачественного 360-градусного VR-контента из любого места. В планах компании также расширение списка партнеров в разработке вещательных и потребительских решений с поддержкой сетей 5G.
По теме:
- NHK показала 8K стерео 3D-видеофильм и 4K стерео 3D без очков
- Super Hi-Vision: NHK готовит 8K-трансляцию к ЧМ-2014 в Бразилии
- Стерео 3D-бинокль NHK с разрешением… 2х Super Hi-Vision!
- Sony представила свою первую 8K-камеру UHC-8300 с тремя сенсорами
- CES 2014: 8K 3D-ТВ без очков и другие новинки от Sharp
- NHK: плечевой 8K-камкордер и революция в мире 3D
- RED RANGER: полнокадровая система на 8K-сенсоре MONSTRO
