Microsoft оголосила про запуск нової функції «computer use» у Copilot Studio, що дозволяє агентам ШІ взаємодіяти з вебсайтами та десктопними застосунками. Відтепер користувачі можуть створювати агентів, які натискають кнопки, обирають пункти меню та вводять текст у поля на екрані, навіть якщо для цього застосунку чи сайту немає відкритого API. Це дає змогу автоматизувати рутинні завдання, наприклад, внесення даних, проведення маркетингових досліджень чи обробку рахунків.
Агенти ШІ, створені у Copilot Studio, можуть працювати з основними браузерами — Edge, Chrome та Firefox. Для користувачів не потрібні навички програмування: достатньо описати бажану задачу у вікні Copilot Studio звичайною мовою. Перед запуском можна протестувати й відкоригувати завдання у спеціальному симуляторі, а також переглядати історію дій агента разом із знімками екрана та його логікою дій.
Система здатна адаптуватися до змін у застосунках чи на сайтах, наприклад, якщо буде змінено розташування кнопок або зовнішній вигляд сторінки. Це дозволяє агенту продовжувати виконання завдань без втручання користувача, навіть у разі оновлень інтерфейсу. Працюють агенти на хмарній платформі Microsoft, а дані, що генеруються під час роботи, не використовуються для навчання моделі.
Крім того, Microsoft зробила безкоштовною для користувачів Edge функцію Copilot Vision, яка допомагає розпізнавати інформацію на екрані та підказує, як працювати із застосунками. Ця функція активується у боковій панелі браузера, і для її використання достатньо надати відповідний дозвіл. Copilot Vision може, наприклад, допомагати з приготуванням страв за рецептом або надавати поради щодо підготовки до співбесіди.
