Компанія Microsoft розпочала тестування нової функції Copilot Vision, яка дозволяє ШІ бачити те, що ви переглядаєте на сторінках в браузері Edge. Ця функція доступна лише для передплатників Copilot Pro через програму Copilot Labs у США. Copilot Vision може аналізувати текст і зображення на вебсторінках, відповідати на запитання, перекладати текст і навіть допомагати у грі.
Користувачі можуть використовувати Copilot Vision для отримання рекомендацій щодо продуктів під час покупок в інтернеті або для отримання підказок під час ігор на Chess.com. «Коли ви вирішуєте увімкнути Copilot Vision, він бачить сторінку, на якій ви знаходитесь, читає разом з вами, і ви можете обговорити проблему разом», — пише команда Copilot у блозі.
Microsoft наголошує на дотриманні конфіденційності, заявляючи, що Copilot Vision не зберігає дані після сесії. Оброблені аудіо, зображення або текст не використовуються для навчання моделей. На даний момент функція обмежена в доступі до певних сайтів, щоб уникнути можливих правових проблем з видавництвами.
Microsoft обіцяє розширювати список доступних сайтів для Copilot Vision з часом, враховуючи відгуки користувачів і видавництв.