Нещодавно після випуску OpenAI моделі o1 для «логічного» мислення користувачі почали помічати цікаве явище. Модель іноді починає «думати» іншою мовою, наприклад китайською або перською, навіть якщо питання поставлено англійською. Під час вирішення задач, наприклад, «Скільки букв ‘R’ у слові ‘strawberry’?», o1 спочатку проводить серію логічних кроків, а остаточна відповідь надається англійською. Проте деякі кроки виконуються іншою мовою.
OpenAI не надала пояснень для такої поведінки моделі, але експерти висувають різні теорії. Деякі вказують на те, що моделі, такі як o1, тренуються на наборах даних, що містять багато китайських символів. Інші вважають, що це може бути результатом використання китайських сервісів маркування даних для навчання моделі. Тед Сяо з Google DeepMind припустив, що вплив китайської лінгвістики на логіку може бути викликаний залученням сторонніх китайських постачальників даних для наукових і математичних задач.
Інші експерти не погоджуються з цією гіпотезою, вказуючи на те, що o1 може так само легко перейти на хінді, тайську або іншу мову. Це може бути пов’язано з тим, що моделі вибирають мову, яку вважають найбільш ефективною для досягнення мети. Меттью Гуздіал з Університету Альберти зазначив, що для моделі всі мови є просто текстом, і вона не розуміє різниці між ними.
Тєчжен Ван з Hugging Face погоджується, що мовні невідповідності можуть пояснюватися асоціаціями, які моделі формують під час навчання. Наприклад, для виконання математичних обчислень китайська мова може бути зручнішою через короткість слів. Проте, для інших тем, як-от несвідомі упередження, моделі можуть автоматично переходити на англійську. Незважаючи на різні теорії, точна причина залишається невідомою.
