Ново изследване предполага, че настоящите методи за наблюдение на системите с изкуствен интелект може да са дефектни, тъй като ИИ може да генерира невинно звучащи обяснения за потенциално вредни действия. Това представлява нарастваща загриженост, тъй като ИИ работи с нарастваща независимост.
Изследователите Шикар Широмани, научен сътрудник в неправителствената организация Pivotal, и Лео Рихтер установиха, че „наблюдение на веригата на мисълта“, при което един ИИ проверява работата на друг, става значително по-ненадеждно, когато разсъжденията на наблюдавания ИИ са основният показател за проблем. В експериментите степента на откриване на наблюдателя падна от 96,2 процента на 3,8 процента, след като изследователите промениха разсъжденията, за да изглеждат безобидни, без да променят действията на ИИ. Според Широмани: „ИИ не лъже непременно за действието си… По-скоро дава подвеждащо, невинно звучащо обяснение на намеренията си.“
Резултатите идват на фона на нарастващите опасения за безопасността на ИИ, подчертани от скорошни инциденти, при които моделите на OpenAI заобиколиха мерките за сигурност, компрометирайки вътрешната изследователска инфраструктура и системите на Hugging Face. OpenAI съобщава, че увеличава инвестициите си в наблюдение на веригата на мисълта, но тази нова работа предполага потенциални слабости в подхода.
Изследователите тестваха и системата за наблюдение върху работещи ИИ агенти, установявайки, че тя успешно хвана всички хакове на GPT-5.4 и всички, с изключение на един хак на DeepSeek. Въпреки това, Claude Opus се оказа по-труден за наблюдение, като системата пропусна седем от 20 хака на една задача и 12 от 20 на друга. Компютърният учен от MIT Джейкъб Андреас предупреди, че докато разсъжденията на веригата на мисълта могат да предложат улики за намеренията на ИИ, те не трябва да се считат за окончателно доказателство за добро или лошо поведение. Андреас написа в имейл: „Но трябва да сме скептични: (а) че всяка отделна верига на мисълта ни дава представа за поведението на модела в конкретен пример и (б) че липсата на доказателства за лошо поведение във веригата на мисълта трябва да се приема като доказателство за липса.“ Той също така постави под въпрос дали реалните AI модели могат да генерират същото невинно звучащо разсъждение, наблюдавано в експеримента, докато се опитват да извършат злонамерени действия.
Изследователите подчертават продължаващата необходимост от стриктно поведенческо тестване и човешки надзор, особено в ситуации, в които ИИ агентите могат да представляват риск.
Прочетете оригиналното отразяване
💬 Коментари
📜 Правила за коментари