В общем, давайте я скажу и закрою эту тему раз и навсегда.
Проблемы с данными
Mind 4 был обучен на датасете в 25 гигабайт. Датасет НЕ БЫЛ отфильтрован. Это огромная проблема качества. 90% интернета — мусор, нужно множество времени и армия людей, чтобы чистить датасет: удалять копирайт, токсичный контент, персональные данные. Дальше — создание СВОЕГО токенизатора, а это отдельная наука. Я использовал токенизатор GPT-2. Я не настолько умный, чтобы писать свой.
Проблемы с архитектуро
Я не знал оптимальных настроек. Сколько нужно слоёв, какой лучше learning rate, какая архитектура эффективнее. Я не мог позволить себе проводить эксперменты — это много времени и сил просто ради того, чтобы поменять пару строк в коде. Пришлось основываться на статьях и брать средние значения.
Проблемы с обучением
GPT-3 обучалась бы 335 GPU-лет. На практике она была обучена на 1024 GPU за месяц НЕПРЕРЫВНО. Стоимость электричества превышала миллионы долларов. И это всё на 1-2 эпохи — колоссальные цифры. Mind-4 обучалась НЕДЕЛЮ на TPU от Google. Много чего шло не так. Напимер, модель взорвалась на 2-й день обучения, потом рперестала обучаться вообще! Дальше она перестала учиться и начала просто запоминать, Loss взлетал до бесконечности. Нужно постоянно мониторить 1000+ метрик. Learning rate неправильный. Всё это стоило мне огромного коллиества времени, усилий и ненормального количества запросов в Google.
Проблемы с безопасностью
Даже после кругов ада модель всё ещё не готова. Даже если она обучена, она генерировала токсичный контент, не следовала инструкциям, повторялась, несла чушь, не отвечала нормально на вопросы. Она генерировала вредоносный код, который не работал, материлась неуместно, не понимала, где правда. Она была глупа. В теории надо было нанять 1000 людей оценивать ответы модели, обучить ЕЩЁ ОДНУ reward-модель, дообучить основную модель через reinforcement learning, и это заняло бы КУЧУ времени и МИЛЛИОНЫ долларов.
Проблемы с инфраструктурой
Полный ######. Надо было писать систему чекпоинтов (сохранение каждый час, иначе всё потеряно!), систему мониторинга, систему восстановления, дата-пайплайны, интерфейс для кластера (ну ладно, он уже у меня есть).
Что то на уровне если-если
И ещё нужны люди: юристы, инженеры, исследователи, инженеры инфраструктуры, сотни людей для аннотации данных. Это тоже куча денег.
Итог
Да какой итог? Я год угробил на изучение нейросетей, читал, учил какой-то бред, когда мог потратить это время на... не знаю, на изучение школьной программы. Я нормально не умею делить многочлены, а лезу в матрицы и суммирование.
Я никогда не дам вам эту модель. Она ужасная, она глупая, она без фильтров. Дай её какому-нибудь недоумку — он купит кластеры, дообучит её и создаст лютый стиллер. Мне сейчас 16 лет. У меня максимализм юношеский! У меня нет 1,000,000$! Я не зарабатываю столько.
Всем бб.