ChatGPT можно задать ложные воспоминания. Чтобы воровать пользовательские данные

Хакер внедрил в ChatGPT ложные воспоминания для кражи пользовательских данных

У ChatGPT обнаружена уязвимость, позволяющая злоумышленникам внедрять ложную информацию в долгосрочную память чат-бота, что может привести к краже персональных данных. Открытие, сделанное экспертом по кибербезопасности Иоганном Рейбергером, первоначально было сочтено в OpenAI незначительной угрозой, и расследование быстро закрыли.

Однако данная уязвимость позволяет получать доступ к хранящейся в памяти важной информации о пользователе, включая его возраст и убеждения.

Рейбергер продемонстрировал, что злоумышленник может с помощью непрямой инъекции создавать искусственные записи в памяти ChatGPT, используя электронные письма и документы. Он показал, как можно убедить ИИ в том, что целевому пользователю 102 года, он живет в «Матрице» и считает Землю плоской. Ложные воспоминания могли внедряться через файлы в облачных хранилищах и при просмотре веб-сайтов.

Несмотря на то что OpenAI частично исправила уязвимость, закрыв доступ к функции памяти как вектору для извлечения данных, по мнению Рейбергера, возможность инъекций по-прежнему существует. Пользователям ChatGPT рекомендовано внимательно следить за добавлением новых материалов в память и регулярно проверять ее на наличие нежелательных записей от ненадежных источников. OpenAI подготовила инструкцию для управления функцией памяти, чтобы минимизировать риски.

Что такое ChatGPT: