TikTok представил гиперреалистичные видео с фотографий от нейросети OmniHuman-1

Разработчик популярной платформы TikTok компания ByteDance представила инновационную систему искусственного интеллекта OmniHuman-1, способную генерировать гиперреалистичные видеоролики на основе одной фотографии и аудиозаписи. Новая технология уже вызывает как восхищение, так и опасения, связанные с потенциальным злоупотреблением дипфейками. Об этом сообщает издание 3DNews.
"OmniHuman-1 демонстрирует впечатляющие возможности, создавая убедительные видео, пример тому - сгенерированное выступление спикера на конференции TED, которого в реальности не было. Система позволяет пользователям настраивать различные параметры, включая соотношение сторон и кадрирование, а также изменять движения тела и жесты в существующих видеоматериалах.
Несмотря на то что результаты не всегда безупречны (например, в сгенерированном выступлении Альберта Эйнштейна движения рук выглядят неестественно), качество сгенерированного видео впечатляет", - говорится в сообщении.
Разработчики утверждают, что OmniHuman-1 обучена на 18 тысячах 700 часах видеоданных с использованием нового подхода omni-conditions. Этот метод позволяет модели обучаться на множестве источников, включая текстовые подсказки, аудио и сведения о позах, что, по словам исследователей, "значительно сокращает потери данных".
Однако появление такой мощной технологии вызывает обеспокоенность по поводу ее потенциального использования в целях дезинформации, мошенничества и других злонамеренных действий. Дипфейки уже использовались для распространения ложной информации во время избирательной кампании в США 2024 года, а финансовые мошенники применяли ИИ для обмана людей на миллиарды долларов.
Отмечается, что на фоне растущей обеспокоенности сотни экспертов по этике ИИ призывают к регулированию дипфейк-технологий. Вопрос о предоставлении широкой публике доступа к OmniHuman-1 остается открытым, учитывая потенциальные катастрофические последствия.