Стартап Deep Cogito з Сан-Франциско, заснований колишніми співробітниками Google, представив чотири нові великі мовні моделі Cogito v2, головна особливість яких — здатність самостійно вдосконалювати навички міркування з часом. Моделі доступні для завантаження на Hugging Face, локального запуску через Unsloth, а також для використання через API Together AI, Baseten і RunPod. Користувачі можуть обрати між моделями різного розміру — від 70 до 671 мільярда параметрів, серед яких є як щільні варіанти, так і Mixture-of-Experts, орієнтовані на різні завдання та ресурси.
Cogito v2-671B MoE стала флагманом серії, оскільки поєднує велику кількість параметрів з ефективною маршрутизацією запитів, що дозволяє досягати високої точності при помітно коротших ланцюгах міркувань. Для розробників доступна також компактна версія цієї моделі у форматі FP8, яка спрощує запуск на менш потужному обладнанні та зменшує витрати на інфраструктуру, зберігаючи при цьому до 99% продуктивності.
Кожна з моделей Cogito v2 вміє не лише швидко відповідати на запит, а й, коли потрібно, «розмірковувати» над відповіддю, зберігаючи ці процеси у своїй пам’яті під час навчання. Завдяки цьому моделі поступово навчаються вибирати найкоротші та найефективніші логічні шляхи, що підвищує їхню продуктивність, знижує затримку і забезпечує коректність навіть у складних завданнях. Тестування показало, що Cogito v2-671B MoE перевершує інші відкриті моделі у завданнях, де важливі стратегія й логічний аналіз, а також впевнено справляється з багатоступеневими питаннями й математичними задачами.
Deep Cogito підкреслює, що для навчання всіх восьми моделей, включно з попередніми версіями, компанія витратила менше 3,5 мільйона доларів, що набагато менше за бюджети інших лідерів ринку. Такої ефективності вдалося досягти завдяки навчанню моделей пропускати зайві або хибні міркування і формувати «машинну інтуїцію». Моделі Cogito v2 вже доступні для використання розробниками, дослідниками та корпоративними командами, а компанія обіцяє зберігати відкритий доступ до всіх майбутніх версій.
