Anthropic е блокирала множество потребителски профили, след като е установила използване на нейните модели Claude за чувствителни биологични изследвания, които потенциално биха могли да подпомогнат разработването на биологични оръжия. Компанията определя злоупотребата с изкуствен интелект в тази област като един от най-сериозните рискове, свързани с развитието на все по-мощни AI системи.

Новите данни са част от доклад на компанията за злоупотребите с нейните модели. В него са представени пет конкретни случая, при които потребители са предприемали действия за заобикаляне на ограниченията и механизмите за безопасност на Claude.

Според Anthropic част от потребителите са заобикаляли географски ограничения за достъп и са предприемали други действия, които са затруднявали установяването на действителната цел на работата им. Компанията е решила да прекрати достъпа на засегнатите профили.

Особено важна е уговорката, че Anthropic не твърди, че е доказала опит за създаване на биологично оръжие. При биологичните изследвания границата между легитимната научна работа и потенциалната злоупотреба често е трудна за определяне, тъй като едни и същи знания могат да бъдат използвани например за разработване на ваксини или за опасно модифициране на патогени.

При анализ на активността за период от 30 дни компанията е идентифицирала около 35 отделни изследователски усилия, които са съдържали потенциално тревожни характеристики. Anthropic признава, че не може категорично да установи дали хората зад тях са възнамерявали да причинят вреда.

Компанията посочва, че в разгледаните конкретни случаи става дума за действащи учени, но не разкрива самоличността им, техните институции или всички държави, в които са работили.

Един от описаните случаи е свързан с използване на Claude при подготовката на заявление за финансиране на изследване върху вируса чикунгуня, включващо т.нар. изследвания за увеличаване на функционалността. Работата е засягала характеристики като предаването на вируса и избягването на имунния отговор.

Подобни изследвания могат да имат легитимни научни цели – например по-добро разбиране на патогените и разработване на средства за превенция и лечение. Същите знания обаче могат да представляват двойно употребима информация, ако позволяват увеличаване на опасни характеристики на даден патоген.

В друг случай изследовател извън Съединените щати е използвал Claude за работа, свързана с птичия грип, включително адаптацията на вирусите към бозайници и механизмите, които могат да доведат до тежко протичане на заболяването.

Докладът описва и активност, свързана с ортопоксвируси – групата вируси, към която принадлежат причинителите на едрата шарка и mpox, както и работа, засягаща токсични вещества.

Anthropic подчертава, че именно този двойствен характер на биологичните изследвания прави оценката на намеренията изключително трудна. Заявка, която сама по себе си изглежда като част от легитимен научен проект, може в определен контекст да допринесе за работа с опасен патоген или токсин.

Компанията от години оценява способностите на своите най-мощни модели в областта на химическите и биологичните рискове. При част от по-напредналите системи Anthropic вече прилага по-високо ниво на защита, включително механизми в реално време за откриване и блокиране на заявки, свързани с определени дейности по разработване на химически, биологични, радиологични и ядрени оръжия.

Новият доклад обаче не се ограничава до биологичните рискове. Anthropic съобщава и за случаи на използване на Claude при кибероперации, наблюдение, разузнавателна дейност и работа, свързана с конвенционални оръжия.

Един от основните изводи на компанията е, че напредналият изкуствен интелект постепенно намалява необходимото ниво на човешка експертиза за извършването на сложни операции. В доклада това е обобщено с предупреждението, че „сложните атаки вече не изискват сложни нападатели“.

Това не означава, че AI автоматично превръща неспециалист в експерт по биологични оръжия. Опасението е, че моделите могат да ускоряват търсенето и обработването на специализирана информация, да подпомагат планирането и да намаляват част от техническите и организационните бариери, които досега са ограничавали определени рискови дейности.

Anthropic вече разглежда биологичната сигурност като ключова част от политиката си за развитие на най-мощните модели. Компанията заявява, че следи доколко AI може да помогне на потребители с ограничена подготовка да достигнат до способности, които преди са изисквали значителна научна експертиза, специализиран персонал и ресурси.

Случаите не доказват, че с помощта на Claude е било създадено биологично оръжие. Те обаче показват реален проблем пред разработчиците на генеративен AI – как да се запази достъпът на учените до мощни инструменти за медицински и биологични изследвания, без същите възможности да улесняват дейности, способни да създадат сериозен риск за общественото здраве и сигурността.