Суперсэмплинг глубокого обучения - Deep learning super sampling

Deep Learning Super Sampling ( DLSS ) - это технология временного масштабирования изображения, разработанная Nvidia и эксклюзивная для видеокарт Nvidia для использования в режиме реального времени в некоторых видеоиграх, с использованием глубокого обучения для повышения разрешения изображений с более низким разрешением до более высокого разрешения для отображения на более высоких экранах. -разрешение компьютерных мониторов. Nvidia утверждает, что эта технология повышает качество изображения до качества, аналогичного качеству рендеринга изображения в более высоком разрешении, но с меньшим количеством вычислений, выполняемых видеокартой, что позволяет использовать более высокие графические настройки и частоту кадров для данного разрешения. Nvidia утверждает, что «DLSS 2.0 предлагает качество изображения, сопоставимое с собственным разрешением».

С июня 2021 года эта технология доступна исключительно на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 .

История

Nvidia рекламировала DLSS как ключевую функцию графических процессоров серии GeForce RTX 20, когда они были запущены в сентябре 2018 года. В то время результаты были ограничены несколькими видеоиграми (а именно Battlefield V и Metro Exodus ), потому что алгоритм нужно было специально обучать в каждой игре, к которой он применялся, и результаты обычно были не так хороши, как простое масштабирование разрешения.

В 2019 году приложение Control для видеоигр поставлялось с трассировкой лучей и улучшенной версией DLSS, в которой не использовались тензорные ядра.

В апреле 2020 года Nvidia анонсировала и поставила с версией драйвера 445.75 улучшенную версию DLSS под названием DLSS 2.0, которая была доступна для нескольких существующих игр, включая Control и Wolfenstein: Youngblood , и будет доступна позже для будущих игр. На этот раз Nvidia заявила, что снова использует тензорные ядра и что ИИ не нужно специально обучать для каждой игры.

По состоянию на июль 2021 года разработчики игр по-прежнему должны включать DLSS 2.0 для каждой игры .

История выпуска

Выпускать Дата выхода Особенности
1.0 Февраль 2019 г. Первая версия, использующая ИИ и специально обученная для определенных игр, включая Battlefield V и Metro Exodus.
2.0 (первая итерация) Август 2019 г. Первая версия 2.0, также упоминаемая как версия 1.9, с использованием приблизительного ИИ незавершенной версии 2.0, работающей на шейдерных ядрах CUDA и специально адаптированной для Control
2.0 (вторая итерация) Апрель 2020 г. Вторая версия 2.0, снова с использованием тензорных ядер и общего обучения

Предустановки качества

Стандартные предустановки DLSS
Предустановка качества Масштаб Масштаб рендеринга
Качественный 1,50x 66,6%
Сбалансированный 1,72x 58,0%
Представление 2,00x 50,0%
Ультра производительность с версии 2.1 3,00x 33,3%

Алгоритм

DLSS 1.0

Nvidia объяснила, что DLSS 1.0 работает для каждого целевого игрового изображения, создавая «идеальный кадр» с использованием традиционной суперсэмплинга , а затем обучая нейронную сеть на этих результирующих изображениях. На втором этапе модель была обучена распознавать входные данные с псевдонимом в исходном результате.

DLSS 2.0

DLSS 2.0 работает следующим образом:

  • Нейронная сеть обучается Nvidia , используя «идеальные» образы видеоигр сверхвысоким разрешением на суперкомпьютерах и изображений с низким разрешением одних и тех же игр. Результат сохраняется в драйвере видеокарты . Говорят, что Nvidia использует серверы DGX-1 для обучения сети.
  • Нейронная сеть, хранящаяся в драйвере, сравнивает фактическое изображение низкого разрешения с эталонным и выдает результат с полным высоким разрешением. Входными данными, используемыми обученной нейронной сетью, являются изображения с псевдонимом низкого разрешения, визуализируемые игровым движком , и векторы движения с низким разрешением из тех же изображений, также генерируемые игровым движком. Векторы движения сообщают сети, в каком направлении объекты в сцене перемещаются от кадра к кадру, чтобы оценить, как будет выглядеть следующий кадр.

Архитектура

DLSS доступен только на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 в специальных ускорителях искусственного интеллекта, называемых тензорными ядрами .

Тензорные ядра доступны с момента появления микроархитектуры графического процессора Nvidia Volta , которая впервые была использована в линейке продуктов Tesla V100 . Их специфика заключается в том, что каждое ядро ​​тензорного ядра работает с 16-битными матрицами 4 x 4 с плавающей запятой и, похоже, предназначено для использования на уровне CUDA C ++, даже на уровне компилятора .

Тензорные ядра используют примитивы CUDA Warp -Level в 32 параллельных потоках, чтобы использовать преимущества своей параллельной архитектуры. Деформация - это набор из 32 потоков, которые сконфигурированы для выполнения одной и той же инструкции.

Смотрите также

использованная литература