Аналітика некомерційного дослідницького інституту Epoch A вказує на можливе сповільнення прогресу моделей ШІ із розвиненими навичками міркування вже в найближчий рік. За останні місяці ці моделі, як-от о3 від OpenAI, показали значні успіхи у вирішенні математичних і програмістських задач, але подальше зростання їхніх можливостей може виявитися не таким стрімким, як очікувалося.
Особливу увагу привертає те, що OpenAI для навчання моделі о3 використала у десять разів більше обчислювальних ресурсів порівняно з попередницею о1 — і більша частина цієї потужності була спрямована саме на етап підкріплювального навчання. Компанія вже заявила про намір надалі робити акцент на цьому підході та залучати ще більше обчислювальних потужностей.
Аналітик Epoch Josh You зазначає: якщо стандартне навчання моделей щороку забезпечує чотириразове зростання продуктивності, то підкріплювальне навчання демонструє десятикратний приріст кожні три-п’ять місяців. Однак така динаміка може швидко вичерпати свої ресурси — вже до дві тисячі двадцять шостого року темпи розвитку, ймовірно, зрівняються з загальними показниками галузі.
Окрім апетиту до обчислювальних ресурсів, моделі з міркуванням стикаються з високими накладними витратами на дослідження. Дослідження вказує: якщо такі витрати збережуться, масштабування моделей може зіштовхнутися з неочікуваними обмеженнями. При цьому вже зараз відомо, що моделі цього класу не лише дорогі у використанні, а й схильні до помилок, зокрема так званих «галюцинацій», навіть більше, ніж деякі традиційні ШІ-рішення.
