Первая российская сеть, генерирующая видео по тексту, или что может т.н.ИИ

Англояз прочно вошёл в наше сознание. А жаль! Потому что более плоское отображение действительности ещё надо поискать.

Вот ИИ, искусственный интеллект. Так-то, по-простому, слово “интеллект” означает умение думать. А машина – умеет думать? Не умеет. Она лишь отрабатывает заложенные в неё алгоритмы.

Тогда почему именно “интеллект”? Да потому что это просто калька с английского! А там так лучше для финансов. Ведь в зарубежье даже язык – «продажная девка империализма». Броское название, цветастая обёртка => и потребитель радостно скупает всё подряд: от смыслов до товаров.

Между тем понятно, что никакой это не интеллект. Как и не — модно-“умные” (smart) устройства, появившиеся лет с двадцать назад. Начинателем была, кстати, [пока]неубиваемая Microsoft. Они запустили «умные» “кофейные столики”, представлявшие из себя большие сенсорные экраны (с немудрёной начинкой).

Нейросети, искусственный интеллект… О чём это всё, если отбросить рекламу? По сути, это говорит только о неимоверно возросшей вычислительной мощи. Компьютер не думает, но сопоставляет миллиарды вариантов, чтобы выдать {ограниченно!!} приемлемое человеческому взгляду.

Огромным прорывом сначала стало псевдоосмысленное создание текстов. Но главным открытием несомненно явилось наговаривание изображений, что поначалу казалось чуть ли не волшебством. И вот технологии доросли до видео по тексту.

Ну, как доросли? Пока это всё те же статичные картинки, склеиваемые, однако, в движимый ряд. Что программы пока преодолеть не могут, так это сделать этот ряд непрерывно одинаковым.

Генерация всяким отдельным прогоном рождает флуктурируемых фантомов. И на выходе видео представляет собой морфируемое подобие текстового запроса, плавно перетекающее многоликостью образов. Чему дополнительно (и негативно) способствует постоянные прыжки свето-теневого и колористического контраста.

Сбер начал немного позже, чем проклятый Запад. И потому там ролики немного более сглаженные, немного менее разболтанные. Однако в общем картина и там и здесь одинакова. С одним важным и перевешивающем всё отличием: у нас создание как изображений, так и видео – бесплатно!

Кстати, ссылки:

генерация изображений — https://rudalle.ru/

Это старый добрый Кандинский (не Василий Васильевич, нет; а генеративный инструмент))), выросший до версии 3.0 с рассматриваемой ранее 2.1. В том обзоре взгляд и на остальные 2,5 российские нейросети.

изображения и ВИДЕО — https://fusionbrain.ai/
есть ещё Телеграм-бот, но “лично я ему как-то не доверяю” ;)) — https://t.me/video_kandinsky_bot

И если с картинками всё более или менее нормально, то в видео соответствие запросу, конечно, аховое.

Итак, примеры. Вот что выдала сеть в ответ на запрос: «мышонок едет на велосипеде» =>

Творить можно в двух ипостасях: в формате “Анимация” и в режиме ”Видео”. В самом запросе, понятно, тоже можно прописать желаемые предпочтения. Но все они будут зависеть от стиля, выбранного в графе «Модель».

Впрочем, ”Видео” от “Анимации” отличается не так уж и разительно. Хотя понятно, что уж совсем контурно-рисованное будет выбиваться.

Другой запрос. Теперь про кошу! Формат ”Видео”: «няшная кошечка пьёт кофе из фарфоровой чашечки, сидя на балконе в цветущем саду» =>

Насколько удалось понять, кошечки вообще получаются лучше всего!!

Потому что стоит перейти на менее распиаренных существ, как сразу получается какая-то дичь. Например, «акула гуляет с зонтиком по проспекту — акула сидит на скамеечке и читает газету — акула пьёт кофе из фарфоровой чашечки, сидя на балконе над цветущим садом на закате».

Запрос может показаться длинным. Это от того, что создаваемый ролик длительностью всего четыре секунды. Однако его можно неограниченно(?) расширить добавлением последующих 4-секундных отрезков. Правда, время на отсчёт возрастает так же неограниченно))), не соответствуя заявленному «Время генерации ~ 3 минуты» (для 8 секунд) =>

Хотя если написать просто про рыбку да в естественной среде обитания, то получается весьма удобоваримое зрелище. Режим ”Видео”, переходящий в “Анимацию”: «ярко-оранжевая рыбка плывёт сквозь толщу сапфировой воды к сияющему солнцу — ярко-оранжевая рыбка подмигивает, улыбается и машет плавничком» =>

А вот с людьми – как с акулами )))

Не сказать, что совсем не получилось, но даже хорошим такой ролик не назовёшь: «человек с белоснежными крыльями летит над горами и морями — очень красивая девушка в белом одеянии гуляет в волшебном лесу» =>

Что категорически нельзя посоветовать, так это обращение к фольклору и вообще – не к прямым смыслам и ассоциациям.

Например, запрос «трёхголовый Змей Горыныч летит над русскою землёю, трепеща перепончатыми крыльями — русский богатырь Илья Муромец размахивает огромным мечом — Илья Муромец побеждает трёхголового Змея Горыныча в кровавой битве» превратил русскую сказку в набор иностранных представлений о.

Вообще, в этом – в обосновании и в источниках данных для математических моделей, используемых в нейросетях – огромная смысловая дыра, подверженная и подвергаемая различным манипуляциям. Но об этом — в одной из следующих статей.

А пока «Илья Муромец» ))))) =>

Ладно, смыслы исковерканы… Зато — это прям моё открытие! )) — можно писать всякую хрень, а Сеть выдаёт осмысленный(!) и даже более красивый, чем на нормальный запрос, результат. Главное только, чтобы слова были похожи на “настоящие”.

Тарабарское выражение «кракушижра жёрно выблестала дрогундявку» высветило довольно интересные цветки во льду =>

Но есть. Есть в генерации видео по текстовому описанию ещё одна победа кроме кошечек! ))

Это – создание космических пейзажей. Оно и понятно. Условности создаются с помощью условных условностей же, вот и.

Не импрессионизм, однако потенциал есть: «космический корабль облетает гигантскую звезду, импрессионизм» =>

В общем, создание изображений по описанию уже вполне себе могут быть инструментом. Скажем, для иллюстраций к статьям. А вот наговариваемое видео пока далеко от идеала и может служить только как развлечение.

А вот через полгода-год… ;)))

Тем более, Владимир Владимирович лично дал добро и всяческую поддержку процессам т.н.ИИ. Так что дело очень скоро выйдет на немыслимые высоты (шутка над Грефом дорогого стоит))).

Пока же — кошечки!