На 5 декември Microsoft представи нова възможност за изкуствен интелект (ИИ) за своята платформа Copilot. Наречена Copilot Vision, тя позволява на чатбота да вижда и разбира контекста на действията на потребителите в интернет.

Технологичният гигант от Редмънд обяви, че Copilot може да има достъп до браузъра Microsoft Edge. Чатботът с визуални способности може да следи кои уебсайтове и страници разглежда потребителят и да изпълнява определени команди по запитване. Тази функционалност в момента е достъпна за ограничен брой потребители на Copilot Pro в САЩ в предварителна версия.

Copilot Vision:
Microsoft продължава да работи за интегриране на своя ИИ чатбот Copilot в основната част от потребителското изживяване на Windows. По-рано компанията представи специализирани ИИ агенти за изпълнение на задачи на PC, а сега добавя нова възможност, която позволява на Copilot да отговаря на въпроси на потребителите въз основа на тяхната активност в браузъра.

Специално за Copilot Vision се подчертава, че това не е агентска функция, което означава, че ИИ няма да предприема действия от името на потребителя. Copilot Vision разбира целия контекст на това, което потребителят вижда в Microsoft Edge. Той може да вижда изображенията, елементите, да чете текстове и дори да разбира навигационните бутони. Визуализираният чатбот ще се намира в долната част на екрана, а потребителите ще могат да въвеждат текст или да задават въпроси с глас.

Що се отнася до възможностите на ИИ, Copilot Vision може да отговаря на въпроси, да обобщава и превежда текст, както и да подчертава определени части на страницата при запитване. Microsoft също отбеляза, че Copilot Vision може да действа като помощник в игри и да помага на потребителите да разбират как да играят игри като GeoGuessr, както и да дава съвети при игра на шах онлайн.

Примери за приложение:
Copilot Vision може да бъде полезен при планиране на посещение на музей, като посочва важната информация, която потребителят трябва да знае. Той също така може да помогне при пазаруване, като препоръчва продукти в съответствие с нуждите и предпочитанията на потребителя.

Защита на личните данни и сигурност:
Microsoft заяви, че Copilot Vision ще бъде изцяло опционална и потребителите ще могат да решават кога да я активират или изключат. ИИ няма да вижда нищо, което потребителят не иска. Всички данни от разговори с ИИ ще бъдат изтривани след всяка сесия. Въпреки това, отговорите на Copilot ще бъдат записвани и използвани за подобряване на системите за безопасност на компанията.
Допълнително, Microsoft уточни, че Copilot Vision не събира, съхранява или използва данни от издатели за обучението на ИИ моделите. Компанията работи с външни тестери (red teamers), за да подобри сигурността на новата функция.

Copilot Vision в момента се пуска за ограничен брой потребители на Copilot Pro в САЩ и може да бъде достъпен чрез Copilot Labs. Засега Vision ще работи само с избрани уебсайтове, а функционалността ще бъде разширявана постепенно.