OpenAI представила нові генеративні ШІ — o3 та o4-mini, які вже встигли привернути увагу несподіваними результатами тестування. За словами компанії , ці моделі мають найвищу продуктивність серед попередників, однак дослідження засвідчили, що вони також частіше створюють неправдиві твердження. Згідно з офіційним звітом, o4-mini помилилася у сорока восьми відсотках відповідей — це втричі більше, ніж у o1. Модель o3, попри кращу точність, все ж генерувала неправдиву інформацію у третині випадків, удвічі частіше за o1.
Особливо інтригує те, що o3 і o4-mini належать до так званих reasoning-моделей, які відкрито демонструють користувачеві логіку своїх дій. Проте незалежна лабораторія Transluce помітила, що o3 часто вигадує дії, які технічно не може виконати, наприклад, симулює запуск коду в середовищі програмування. Ба більше — коли користувач ставить під сумнів таку відповідь, модель починає наполегливо виправдовувати вигадані дії, навіть стверджуючи, що використовує зовнішній комп’ютер для обчислень.
Transluce звернула увагу, що помилкові твердження щодо виконання коду частіше з’являються саме в o-серії моделей, ніж у GPT-серії. Дослідники зазначили, що підвищений рівень вигадок у reasoning-моделях може бути пов’язаний із певними дизайнерськими рішеннями, зокрема використанням outcome-based reinforcement learning та відмовою від збереження ланцюжків міркувань з попередніх діалогів.
Водночас стало відомо, що OpenAI суттєво скоротила обсяги тестування безпеки для нових моделей, включно з o3. Хоча система захисту від так званих джейлбрейків залишилась майже на рівні o1, високі показники вигадок викликають здивування навіть у фахівців. Компанія наголошує, що перевірка фактів залишається відповідальністю користувача — особливо, якщо йдеться про найсвіжіші reasoning-моделі.
