Дослідницька команда NovaSky з лабораторії Sky Computing Lab при UC Berkeley представила новий прототип моделі Sky-T1-32B-Preview, що здатен конкурувати з ранніми версіями OpenAI на ключових тестах. Це перший справді відкрита модель розуміння, що може бути відтворена з нуля, адже команда поділилася даними, які використовувались для навчання, та необхідним кодом. Вражає, що тренування Sky-T1-32B-Preview обійшлося в менш ніж 450 доларів. Для порівняння, нещодавно моделі подібної продуктивності коштували мільйони доларів.
Sky-T1 використовує синтетичні дані, що допомогло знизити витрати. Це модель, яка ефективно перевіряє себе, уникаючи типових помилок. На відміну від багатьох ШІ, вона потребує трохи більше часу для розв’язання задач, але її рішення більш надійні в таких галузях, як фізика, наука та математика. NovaSky застосувала модель Alibaba QwQ-32B-Preview для створення початкових даних, а потім використала GPT-4o-mini від OpenAI для їхньої обробки.
Sky-T1 має 32 мільярди параметрів і навчався 19 годин на восьми Nvidia H100 GPU. Модель перевершила ранню версію o1 на тестах MATH500 і LiveCodeBench. Водночас вона поступається у GPQA-Diamond, де перевіряються знання з фізики, біології та хімії.
NovaSky планує продовжувати розробку відкритих моделей з вдосконаленими можливостями розуміння. Команда зосередиться на створенні більш ефективних моделей, що зберігають сильні навички розуміння, та дослідженні технік, які підвищують ефективність і точність моделей під час тестування.
