Данная работа посвящена попытке разработки компактной языковой модели Mind 4 силами одного
ученика в
условиях ограниченных вычислительных и финансовых ресурсов. В ходе исследования была частично
подтверждена возможность проектирования архитектуры мирового уровня (MoE, GQA), однако выявлено, что
отсутствие огромных массивов качественных данных и инфраструктуры для RLHF делает такую модель
неконкурентоспособной по сравнению с промышленными аналогами.
Данная работа предоставляется исключительно для ознакомления. Категорически запрещается использовать
этот
материал для выдачи за собственный результат или представлять его в качестве выполненной работы по
информатике.