На честь першої річниці Mistral 7B компанія Mistral AI представила нові моделі Ministral 3B та Ministral 8B, розроблені спеціально для використання на пристроях та у прикладних сценаріях на межі обчислень. Ці моделі націлені на забезпечення високої продуктивності та ефективності в межах категорії до 10 мільярдів параметрів, пропонуючи до 128 тисяч контекстної довжини (поточна версія підтримує 32 тисячі).
Ministral 8B вирізняється інноваційною структурою інтерльованого віконного механізму уваги, що дозволяє зменшити затримку та оптимізувати використання пам’яті. Це робить моделі ідеальним рішенням для локальних обчислень без підключення до інтернету — наприклад, для автономних роботів, локальної аналітики та перекладу прямо на пристрої.
Моделі Ministral 3B та 8B також можуть працювати як ефективні проміжні ланки у складних робочих процесах, де їхня здатність до виклику функцій та розподілу завдань забезпечує мінімальні затримки. У поєднанні з більшими мовними моделями, як-от Mistral Large, вони дозволяють налаштувати гнучку та економну обробку даних по запиту.
Від сьогодні обидві моделі доступні для використання на платформі компанії. Вартість становить $0,1 за мільйон токенів для Ministral 8B та $0,04 для Ministral 3B. Mistral AI також пропонує допомогу в налаштуванні та квантуванні моделей для максимальної продуктивності у конкретних задачах користувачів.
