Новые прорывы в генерации видео с помощью ИИ: мультимодальные технологии переосмысляют ландшафт отрасли Web3

robot
Генерация тезисов в процессе

Прорывные достижения в технологии генерации видео с помощью ИИ и их влияние

Одним из самых заметных изменений в области ИИ в последнее время стало значительное достижение в технологии многомодального генерации видео. Эта технология развилась от создания видео только на основе текста до полной генерации, которая может интегрировать текст, изображения и звук.

Вот несколько примеров впечатляющих технологических прорывов:

  1. Технологическая компания открыла исходный код фреймворка, который может преобразовывать обычные видео в контент свободного просмотра в 4D, при этом уровень одобрения пользователей достигает 70,7%. Эта технология позволяет автоматически создавать многогранный просмотр из видео с единственной перспективы, что в прошлом требовало наличия профессиональной команды по 3D-моделированию.

  2. AI-платформа одной компании утверждает, что может создавать 10-секундные видео в "киночном" качестве из одного изображения. Хотя точность этого утверждения еще предстоит проверить, оно также демонстрирует потенциал технологий генерации видео на основе ИИ.

  3. Технология, разработанная известной лабораторией ИИ, способна синхронно генерировать 4K-видео и звуковые эффекты окружающей среды. Ключевым аспектом этой технологии является достижение настоящего семантического соответствия, что позволяет преодолеть трудности синхронизации звука и изображения в сложных сценах.

  4. У ИИ-модели одной из платформ коротких видео 8 миллиардов параметров, она может генерировать 1080p видео за 2,3 секунды, стоимость составляет 3,67 юаня за 5 секунд. Хотя в сложных сценах есть пространство для улучшения, в области контроля затрат уже достигнуты неплохие результаты.

Эти технологические прорывы имеют серьезное значение в таких аспектах, как качество видео, стоимость генерации и сценарии применения:

  1. С точки зрения технической ценности, сложность многомодальной генерации видео растет экспоненциально. Это не только требует обработки огромного количества пикселей, но также должно обеспечивать последовательность во времени, синхронизацию аудио и согласованность в 3D-пространстве. Настоящий прорыв заключается в реализации этой сложной задачи через модульное разложение и сотрудничество больших моделей.

  2. Снижение затрат в основном стало возможным благодаря оптимизации архитектуры вывода, включая иерархическую стратегию генерации, механизм повторного использования кэша и динамическое распределение ресурсов. Эти оптимизации значительно снизили стоимость генерации видео.

  3. В области влияния приложений технологии ИИ меняют традиционное производство видео. Они упрощают процесс, который раньше требовал большого количества оборудования, площадей, рабочего времени и средств, до простого ввода подсказки и ожидания несколько минут. Это не только снижает барьер для производства видео, но и позволяет достигать эффектов, которые трудно реализовать при традиционной съемке.

Эти изменения также оказали глубокое воздействие на сферу Web3 AI:

  1. Изменяется структура спроса на вычислительную мощность: от стремления к однородным крупномасштабным GPU-кластерам к необходимости разнообразия комбинаций вычислительной мощности. Это создает новые возможности для распределенной неиспользуемой вычислительной мощности и различных моделей, алгоритмов и платформ вывода.

  2. Увеличение потребности в аннотированных данных, профессиональная генерация видео требует более точных описаний сцен, эталонных изображений, аудиостилей и других данных. Это создает новые возможности для фотографов, звукорежиссеров, 3D-художников и других, предоставляющих профессиональные данные.

  3. Развитие AI-технологий в сторону модульного сотрудничества само по себе является новой потребностью для децентрализованных платформ. В будущем вычислительная мощность, данные, модели и механизмы стимулов могут образовать самоусиливающийся положительный цикл, способствующий интеграции сцен Web3 AI и Web2 AI.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 4
  • Поделиться
комментарий
0/400
DuckFluffvip
· 07-24 11:11
Маленькое видео может сделать даже моя кошка?
Посмотреть ОригиналОтветить0
LightningAllInHerovip
· 07-23 09:34
Это снова будет жечь видеокарты, да?
Посмотреть ОригиналОтветить0
TheShibaWhisperervip
· 07-23 09:32
Стоимость упала, просто нет вычислительной мощности.
Посмотреть ОригиналОтветить0
MEVHunterZhangvip
· 07-23 09:32
Подрывает основу для видеоагентств.
Посмотреть ОригиналОтветить0
  • Закрепить