А где прорыв? Мысли о стагнации LLM.

Дисклеймер: Всё, что вы прочтёте ниже — это субъективное мнение, основанное на личных наблюдениях и размышлениях. Я не претендую на истину в последней инстанции и с уважением отношусь к другим точкам зрения. Я не инженер в OpenAI и не академик, просто внимательно слежу за развитием ИИ и делюсь тем, что кажется важным озвучить. Этот пост не попытка обесценить чей-то труд — наоборот, я глубоко уважаю всех, кто двигает индустрию вперёд. Цель — не критика ради критики, а желание сформулировать мысли вслух и пригласить к диалогу.

Давно хотел написать этот пост, но всё как-то не доходили руки. Да и многие посчитают это бредом. Но, пора.

Сегодня на рынке множество нейросетей от разных компаний: Gemini (Google), ChatGPT (OpenAI), Claude (Anthropic), Grok (xAI) и другие. Несмотря на различия в интерфейсах и возможностях, всех их объединяет одна и та же базовая архитектура — большие языковые модели (LLM), обученные предсказывать следующее слово на основе огромного корпуса данных.

И вот в чём проблема: мы по сути стоим на месте. Развитие идёт не за счёт принципиально новых подходов, а за счёт увеличения объёма данных, мощности обучения и тонкой настройки системных промтов. Глубинных инноваций в самой архитектуре — единицы. И это тормозит настоящий прорыв.

Исследования ведутся, но видимого качественного скачка давно не было. Возьмём, к примеру, переход от GPT-4 к GPT-5. GPT-4 на момент релиза казалась магией — она уже тогда уверенно справлялась с большинством задач по генерации текста. А GPT-5? Приростт заметен только на графиках. Нам показывают графики, новые бенчмарки, но в реальности — мало что изменилось.

Раньше каждая новая модель была событием. Все обсуждали её, делились примерами, восхищались возможностями. Сегодня — разницу между LLM буквально измеряют под микроскопом, сравнивая проценты улучшений по узкоспециализированным метрикам. Есть примеры можелей о которых вы вообще не слышали, потому что компании выпускают каждую новую версию каждую неделю.

Но интеллект нельзя свести к одной цифре — ни в форме IQ, ни в форме MMLU. Настоящий интеллект — это не просто предсказание следующего слова. Это способность исследовать, чувствовать, строить причинно-следственные связи, проявлять интуицию и сомнение. Пока LLM-архитектуры остаются в рамках автокомплита, этого не будет, как и AGI.

Да, появились multimodal-модели, интеграция видео, аудио, текста — но и это пока скорее надстройка над той же основой, а не архитектурный сдвиг.

И, скорее всего, пока индустрия будет доить текущие подходы, настоящего прорыва ждать не стоит. Все будут выжимать макимум из того, что уже есть. А потом — когда "всё" уже будет выжато и окажется недостаточным — компании начнут искать новые архитектурные решения.

Уверен, в OpenAI и других топ-лабораториях уже давно осознали, что архитектурный потолок LLM близок. Они не просто бегут за трендами — внутри наверняка идут поиски новых идей. Но на публике всё выглядит иначе: выход Sora 2, очередные бенчмарки, модельки "ещё быстрее и дешевле". Даже сотрудники OpenAI в X пишут, что уже сами мучают Codex и буксуют внутри. Кажется, рынок продолжает крутиться вокруг привычного — не потому что не видит проблему, а потому что боится остановиться, чтобы переосмыслить путь.

Хорошая новость в том, что к тому моменту у нас будет больше всего: больше вычислений, больше инструментов, больше знаний, больше наработок. А значит, шансы на создание действительно "умного" ИИ будут куда выше, чем 5 лет назад.

OpenAI только что выпустила Sora 2

OpenAI только что выпустила Sora 2 — новую модель для генерации видео, и к ней идёт отдельное приложение в стиле вертикальной ленты вроде тиктока.

Что я понял из livestream:

Новая версия видеомодели и сопутствующее приложение от OpenAI — Sora 2. Модель более физически точная, реалистичная и управляемую, с синхронизированной речью и звуковыми эффектами. (Как Veo 3)

Формат роликов:

В новом приложении ролики ограничены ~10 секундами (вертикальная лента в стиле ТикТок — свайп, "For You" и т.д.). (Почти как Veo 3)

Cameo / likeness control:

Есть функция типа «cameo» — пользователь может дать или отозвать разрешение на использование своего образа; при согласии другие смогут генерировать видео с этой внешностью. Публичные фигуры генерятся только при явном согласии. (Более свободнее чем Veo 3)

Авторские права:

Sora 2, по сообщениям, будет генерировать контент с материалами, защищёнными авторским правом, если правообладатель явно не откажется (opt-out механизм), что вызвало юридические и этические обсуждения.

Доступ и развертывание:

Запуск идёт через отдельное приложение (сначала, похоже, invite-only / ограничение по регионам на старте), OpenAI уже информирует студии и агенства о новых правилах.

Техническое/контентное:

OpenAI подчёркивает улучшения в "симуляции мира" — модель лучше держит объектную постоянство и физику движения по сравнению с ранними версиями Sora.

Вообщем с одной стороны — дико круто для креатива: быстрые идеи в видео, синхронизация звука, ремиксы — мечта креаторов. С другой — это ещё один шаг к тому, что дипфейки и манипуляции станут массовыми, и без нормальных правил будет жёстко. Я рад новому релизу и одновременно настороже. Мне интересно, что получится из этого в ближайшие месяцы. Пока что я отношусь это как к попытке угнаться за Veo 3.

Использование ИИ растёт невероятно быстро, и я думаю, что в будущем этот рост только ускорится.

Дисклеймер: Всё, что вы прочтёте ниже — это субъективное мнение, основанное на личных наблюдениях и размышлениях. Я не претендую на истину в последней инстанции и с уважением отношусь к другим точкам зрения. Я не инженер в OpenAI и не академик, просто внимательно слежу за развитием ИИ и делюсь тем, что кажется важным озвучить. Этот пост не попытка обесценить чей-то труд — наоборот, я глубоко уважаю всех, кто двигает индустрию вперёд. Цель — не критика ради критики, а желание сформулировать мысли вслух и пригласить к диалогу.

Использование ИИ растёт невероятно быстро, и я думаю, что в будущем этот рост только ускорится.

По мере того, как ИИ будет становиться умнее, доступ к нему станет очень важным для экономики. Возможно, он даже будет считаться одним из главных прав человека, ведь каждый захочет, чтобы ИИ помогал ему.

Если ИИ продолжит развиваться так, как я думаю, станут возможны удивительные вещи. Может быть, если у ИИ будет около 10 гигаватт вычислительной мощности, он мможет найти лекарство от рака. Или, возможно, он сможет создать систему, которая обеспечит индивидуальное обучение для каждого человека на Земле.

Всего скорее всего это обойдется в 41 триллион долларов. Еще раз: 41,000,000,000,000$. Это больше, чем ВВП всей США, почти треть мировой экономики, около 5000$ на каждого человека на Земле, 13,7 млн. Bugatti, 41 млрд. айфонов, 205 млн. домов.

Перенос сайта

Мой сайт-визитка был перенесен на новый домен. Так как все изменения делались с телефона — возможны баги или ошибки.

Перенос сайта

Мой сайт-визитка был перенесен на новый домен. Так как все изменения делались с телефона — возможны баги или ошибки.

Floppa Run. Что я думаю и зачем его сделал?

ДА! Я РЕЛИЗНУЛ! Я СМОГ! Это мой первый полностью законченный проект. Игру я задумал ещё в 2021 году, как только начал изучать Unity. Тогда были проблемы с билдом под Android, а летом 2024 не хватало знаний. Но вот — релиз! Поддержать меня можно здесь.

Поехали в Floppa Run!

Захватывающий бесконечный раннер, где вы управляете Шлёпой, уворачиваясь от препятствий и собирая пельмени!

ChessAI

ChessAI — это инструмент для анализа шахматных партий, использующий движок Stockfish и графический интерфейс на Python.

Моя болтовня про AI

Помню, как в 2023 году впервые скачал Copilot. Тогда GPT-4 ещё не была omni, но уже удивляла. Сейчас ИИ только набирает обороты, и я хочу быть частью этого.

Мои хобби

Новый раздел о моих увлечениях помимо программирования. Просто свалка моих других интересов :)

Draxon

Красочная CLI-утилита для загрузки видео/аудио через yt-dlp, с упором на простоту и клавиатурный интерфейс.

Floppa RUN — [Randomverse] — Showcase

Каждый запуск — новая трасса, сгенерированная процедурно. Никаких шаблонов, только флоппа и рандом!

Перенос на новую версию Unity

Из-за багов в Unity 6 перенёс проект на новую версию. Стабильность и скорость теперь выше.

Unity за 9 минут: Перемещение курсором

Показываю, как просто и быстро сделать реалистичное перемещение объектов мышкой в Unity.

Unity за 15 минут: делаем Flappy Bird под Android

Моё первое видео! Немного неловко, но очень искренне. Не судите строго 🙂

Новый сайт и демо версии

Добавлен раздел Blender, а также демо Floppa RUN и [F]CUBE. Скачивайте и тестируйте!

Перенос сайта

Сайт теперь по адресу renothingg.github.io/ReNothingg. Были правки "в полевых условиях", возможны ошибки.

Добавление Floppa Run и разработка сайта для игры

На сайт добавлена Floppa Run. Также начата работа над отдельной страницей для неё.

Создание сайта SynvexAI

Был создан сайт SynvexAI. Работали в команде, я тоже принимал участие.