Исследователи Intel создают метод генерации кадров в играх с помощью искусственного интеллекта без дополнительной задержки ввода

Исследователи Intel создают метод генерации кадров в играх с помощью искусственного интеллекта без дополнительной задержки ввода

Как человек, который последние два десятилетия был страстным геймером, я должен сказать, что последние достижения в технологиях генерации кадров действительно произвели революцию в моем игровом опыте. От DLSS до FSR, а теперь и GFFE, интересно наблюдать, как эти технологии расширяют границы возможностей наших видеокарт.

В 2022 году Nvidia стала пионером в предложении генерации кадров, а годом позже к игре присоединилась AMD. Совсем недавно Intel ворвалась в эту захватывающую область. Я имею в виду процесс генерации кадров, но позвольте мне уточнить, что ни одна из этих систем не безупречна, поскольку все они сталкиваются с общей проблемой увеличения задержки ввода. Интересно, что исследователи из Intel разработали алгоритм генерации кадров, называемый экстраполяцией кадров, который не вызывает никаких задержек.

Если вас интересуют сложные технические объяснения, вы можете изучить подробные сведения о его работе в одном из репозиториев исследователя на GitHub. Как и другие технологии рендеринга, этот конкретный метод имеет креативное название и легко инициализируется: Экстраполяция свободного кадра G-буфера (GFFE). Чтобы понять, чем он отличается от DLSS, FSR и XeSS-FG, полезно иметь базовое представление о текущих механизмах генерации кадров.

AMD, Intel и Nvidia используют разные методы, но все они следуют основной методологии: вместо немедленного отображения каждого кадра они визуализируют два последовательных кадра и сохраняют оба в видеопамяти соответствующих видеокарт (VRAM).

Вместо непосредственного создания еще одного кадра графический процессор может использовать вычислительные шейдеры (как в случае с FSR от AMD) или нейронные сети искусственного интеллекта (например, DLSS от Nvidia и XeSS от Intel) для проверки двух предыдущих кадров на наличие изменений и движения. Этот сгенерированный кадр затем вставляется между двумя исходными кадрами, которые затем отображаются на мониторе в этой последовательности.

Как геймер, я обнаружил, что ни одна из этих трех технологий не гарантирует безупречных кадров постоянно, но в большинстве случаев эти короткие, мимолетные кадры едва заметны, поскольку они быстро заменяются обычными. Однако что меня бросается в глаза, так это заметное увеличение задержки ответа, что может немного ухудшить мой игровой опыт.

Как энтузиаст игр, я могу вам сказать, что игровые движки регулярно собирают обновления входных данных. Затем они включают эти изменения в следующий кадр, который будет отображаться. Только что созданные кадры не включают эти обновления, а это означает, что между перемещением мыши и появлением отражения движения на экране существует небольшая задержка. Это связано с тем, что два стандартных кадра сохраняются для создания искусственного, что добавляет задержку к общему впечатлению.

Исследователи Intel создают метод генерации кадров в играх с помощью искусственного интеллекта без дополнительной задержки ввода

По сути, это означает, что Game-Friendly Forward Error (GFFE) потенциально может функционировать непосредственно на уровне драйвера, а не интегрироваться в процесс графического рендеринга игры. Что делает его еще более привлекательным, так это то, что, поскольку ни один кадр не задерживается, практически нет задержки ввода.

Здесь концепция предсказания кадров становится решающей. Вместо хранения уже обработанных кадров в очереди алгоритм сохраняет запись ранее обработанных кадров и использует их для создания новых. Затем система вставляет предсказанный кадр после обычного, тем самым достигая желаемого повышения производительности.

Системы такого типа не являются недавними инновациями; они находятся в разработке уже довольно давно. Однако не появилось ничего, что могло бы конкурировать с DLSS с точки зрения производительности в реальном времени. Что отличает GFFE, так это его скорость (генерация кадра 1080p занимает всего 6,6 миллисекунды) и тот факт, что ему не требуется доступ к движениям или векторным буферам механизма рендеринга; вместо этого он работает только с полными кадрами.

Кадры, сгенерированные искусственным интеллектом, иногда могут выглядеть немного искаженными из-за того, что их изменения по сравнению с исходными входными данными являются всего лишь оценками, а не точными. Однако, поскольку эти кадры длятся очень короткое время, маловероятно, что вы действительно заметите какие-либо несоответствия.

Как геймер, я воодушевлен следующим скачком в графических технологиях, который, кажется, уже не за горами благодаря естественному развитию DLSS, FSR и XeSS. Работа Intel и Калифорнийского университета намекает на то, что вскоре мы можем стать свидетелями этого прогресса в реальных играх. Поскольку все основные производители графических процессоров готовятся к выпуску новых чипов (Intel уже представила Battlemage), я не могу не задаться вопросом, увидим ли мы скоро DLSS и FSR, которые используют ИИ для прогнозирования движения и создания новых кадров, обрабатывая игровые визуальные эффекты. на следующий уровень!

В будущем мы ожидаем, что видеокарты следующего поколения будут больше фокусироваться на использовании нейронных сетей для таких задач, как масштабирование и генерация, а не просто на увеличении количества шейдеров, кэша и пропускной способности. Это изменение направлено на повышение производительности. Однако, если эти методы нейронной сети незаметны для пользователей, то, как генерируются пиксели, может не иметь особого значения.

Смотрите также

2024-12-09 20:17