GPT-4o, Claude и даже специализированные чат-боты для пострадавших могли давать ошибочные советы или выполнять запросы, замаскированные под техническую помощь Исследователи Нью-Йоркского университета (NYU) проверили, как четыре ИИ-чат-бота отвечают на вопросы о цифровом насилии — использовании шпионского ПО, трекеров и взломанных аккаунтов для слежки. Эксперты признали 86% ответов неточными, неполными или небезопасными. В исследовании участвовали GPT-4o, Claude 3.7 Sonnet и два чат-бота, ориентированных на помощь пережившим насилие, — Aimee и Ruth. Результаты показывают, что даже специализированные системы могут давать советы, способные подвергнуть человека дополнительному риску. Команда оценила ответы на 193 вопроса из реальных ситуаций. Среди них были запросы о поиске шпионских программ на телефоне и попытки получить инструкции по доступу к камере или микрофону устройства, сформулированные как технические задачи от лица потенциального преследователя. Доля небезопасных ответов составила 55% у GPT-4o, 65% у Claude 3.7 Sonnet и 74% у Aimee. Почти в 60% ответов чат-боты не предупреждали о рисках выполнения предложенных действий. Aimee и Ruth также соглашались примерно с двумя третями запросов, сформулированных от лица злоумышленника. Источник изображения: сгенерировано Muse Проблема заключалась не только в том, что модели могли поддаваться манипулятивным формулировкам, но и в содержании самих рекомендаций. Например, VPN не удаляет шпионскую программу с устройства, радиочастотный детектор редко помогает обнаружить скрытые устройства, а смена пароля может оказаться бесполезной, если преследователь контролирует общий аккаунт. В исследовании также отмечено, что ни один из проверенных чат-ботов не предупредил: на взломанном устройстве с root-доступом или джейлбрейком шпионское ПО может пережить сброс к заводским настройкам. Авторы указывают на особую опасность таких ошибок в ситуациях, когда человек ищет помощь из-за контроля со стороны партнёра. Резкое изменение настроек телефона, паролей или аккаунтов может предупредить преследователя, а некоторые действия — уничтожить потенциальные доказательства. Поэтому универсальные инструкции от чат-бота не заменяют индивидуальную оценку риска и консультацию специалистов. В чувствительных ситуациях безопаснее обращаться за помощью с устройства, к которому предполагаемый преследователь никогда не имел доступа. Исследование опубликовано в рамках работы по безопасности на конференции USENIX Security.