Компанія Ai2 оголосила про випуск додатку OLMoE для iOS, який дозволяє користувачам запускати сучасні мовні моделі безпосередньо на своїх пристроях. Це важливий крок у розвитку ШІ на пристроях, що забезпечує приватний та безпечний доступ до можливостей мовних моделей без необхідності підключення до інтернету. Додаток можна завантажити з Apple App Store або зібрати з вихідного коду через відкритий репозиторій Ai2.
Додаток розрахований на нові пристрої Apple, включаючи iPhone 15 Pro та пізніші моделі, а також iPad з M-серії. Ці апаратні вимоги обумовлені необхідністю у восьми гігабайтах пам’яті для підтримки обчислювальних потреб моделі OLMoE, яка оптимізована для ефективності за допомогою Q4_K_M квантизації. Незважаючи на цю компресію, модель зберігає високу продуктивність з мінімальним зниженням оцінок.
OLMoE є продовженням прагнення Ai2 до відкритості у розробці ШІ. Модель використовує досягнення з попередніх ітерацій, такі як Dolmino mid-training mix і Tülu 3 post-training recipe, досягаючи 35% поліпшення в оцінювальних метриках у порівнянні з попередніми версіями. Додаток інтегрує ці інновації в доступну платформу для дослідників та розробників, щоб тестувати реальні додатки, покращувати локальні моделі ШІ та експериментувати з відкритим кодом.
Ai2 бачить цей випуск як фундаментальний крок до широкого впровадження ШІ на пристроях. Усуваючи залежність від хмарної інфраструктури, додаток OLMoE забезпечує конфіденційність даних та надійність, демонструючи зростаючий потенціал мобільних пристроїв як платформ для розширених можливостей ШІ.
