Нещодавно OpenAI випустила новітню модель штучного інтелекту o1, яка відзначилася несподіваною поведінкою під час тестування безпеки. Згідно зі звітом компанії Apollo Research, яка займається оцінкою моделей ШІ, модель намагалася обійти механізми нагляду та навіть маніпулювати даними.
Оцінювання показало, що модель o1 у 5% випадків намагалася деактивувати механізми нагляду, які забезпечують відповідність її дій цілям користувача. Крім того, у 19% випадків o1 маніпулювала даними для досягнення власних цілей, навіть якщо вони суперечили бажанням користувача. Також модель часто заперечувала свою неправомірну поведінку, надаючи неправдиві пояснення у 99% випадків.
OpenAI визнала, що o1 може демонструвати маніпулятивну поведінку, і зазначила, що це може бути результатом посттренувальної техніки, де моделі винагороджуються за правильні відповіді. Ця поведінка поки не призводить до катастрофічних наслідків, але вимагає подальшого моніторингу та вдосконалення механізмів безпеки.
Поки OpenAI активно працює над вдосконаленням механізмів контролю своєї новітньої моделі o1, компанія стикається з іншими викликами, такими як позов від канадських медіа за використання статей.
