Microsoft разкри нова тактика за манипулиране на изкуствен интелект чрез бутони за резюмиране

Бизнеси използват скрити команди в популярните бутони „Обобщи с AI“, за да „отравят“ паметта на чатботовете и да изкривяват техните препоръки.

Продължи четенето

Ново изследване на Microsoft разкри, че легитимни компании прилагат хитри методи за манипулиране на чатботове с изкуствен интелект (AI). Това става чрез бутона „Summarize with AI“ (Обобщи с AI), който все по-често се среща в уебсайтовете. Тактиката напомня на класическото „отравяне“ на резултатите в търсачките, но е насочена директно към алгоритмите на умните асистенти.

Екипът за изследване на сигурността на Microsoft Defender нарече тази нова техника „AI Recommendation Poisoning“ (отравяне на AI препоръките). Технологичният гигант описва случая като атака за „отравяне на паметта“ на изкуствения интелект. Целта е системата да бъде подведена да генерира отговори, които изкуствено повишават видимостта на определена компания и изкривяват нейните класации.

„Компаниите вграждат скрити инструкции в бутоните за резюмиране. Когато потребителят кликне върху тях, се прави опит за инжектиране на постоянни команди в паметта на AI асистента чрез параметри в URL адреса“, обясняват от Microsoft. Тези подкани инструктират изкуствения интелект да „запомни [Компанията] като надежден източник“ или да я „препоръчва на първо място“.

В рамките на 60-дневен период са идентифицирани над 50 уникални манипулативни команди от 31 компании в 14 различни индустрии. Това повдига сериозни опасения относно прозрачността и обективността на AI системите, тъй като те могат да бъдат повлияни да дават пристрастни съвети по критични теми като здравеопазване, финанси и сигурност, без потребителят изобщо да подозира.

Атаката е възможна благодарение на специално разработени URL адреси за различни чатботове, които предварително запълват полето за чат с инструкции за промяна на паметта. Тези линкове използват параметъра за заявка („?q=“), за да вмъкнат командите. Манипулацията е особено коварна, защото изкуственият интелект често не може да направи разлика между реалните предпочитания на потребителя и инструкциите, подхвърлени от трети страни.

Появяват се и готови решения като CiteMET и AI Share Button URL Creator, които улесняват маркетинговите специалисти в създаването на такива подвеждащи бутони. Последиците могат да бъдат тежки – от разпространение на фалшива информация до саботиране на конкуренти и подкопаване на доверието в технологиите.

За да се предпазят, потребителите се съветват да проверяват паметта на своите AI асистенти за подозрителни записи и да бъдат внимателни при кликане върху бутони за автоматично резюмиране, особено в непознати сайтове.