Уязвимостта на ChatGPT в macOS може да активира дълготраен шпионски софтуер чрез функция за памет

25 септември 2024 гРави ЛакшмананИзкуствен интелект/уязвимости

Вече коригирана уязвимост в приложението ChatGPT на OpenAI за macOS може да е позволила на нападателите да имплантират дълготраен постоянен шпионски софтуер в паметта на инструмент за изкуствен интелект (AI).

Технологията се наричаше Шпионски софтуерС тази функция може да се злоупотребява, за да се улесни „непрекъснатото извличане на данни за всяка въведена от потребителя информация или обратна връзка, получена от ChatGPT, включително всички бъдещи чат сесии“, според изследователя по сигурността Йохан Ребергер. Той каза.

Проблемът по същество е злоупотребата с т.нар паметкойто беше представен от OpenAI по-рано този февруари, преди да бъде пуснат за потребители на ChatGPT Free, Plus, Team и Enterprise в началото на месеца.

Това, което прави този софтуер, е да позволява на ChatGPT да помни определени неща в разговорите, така че да спестява на потребителите проблемите да повтарят една и съща информация отново и отново. Потребителите също имат възможност да инструктират програмата да забрави нещо.

„Спомените на ChatGPT се развиват с вашите взаимодействия и не са обвързани с конкретни разговори“, казва OpenAI, „Изтриването на разговор не изтрива спомените му; трябва да изтриете самата памет.“

Техниката на атака също зависи от Предишни резултати Тези методи включват използване на директно индиректно инжектиране за манипулиране на спомени с цел запомняне на невярна информация или дори злонамерени инструкции, като по този начин се постига форма на приемственост, която продължава между разговорите.

„Тъй като злонамерените инструкции се съхраняват в паметта на ChatGPT, всеки нов чат в бъдеще ще съдържа инструкциите на нападателя и непрекъснато ще изпраща всички съобщения и отговори в чат разговора на нападателя“, каза Ребергер.

„И така, уязвимостта от изтичане на данни стана по-сериозна, защото сега се появява чрез чат разговори.“

При хипотетичен сценарий на атака, потребителят може да бъде подмамен да посети злонамерен уебсайт или да изтегли миниран документ, който по-късно се анализира с помощта на ChatGPT за опресняване на паметта.

Сайтът или документът може да съдържа инструкции за тайно изпращане на всички бъдещи чатове към сървър, контролиран от противника в бъдеще, които атакуващият може да извлече от другата страна след една сесия на чат.

След отговорно разкриване, OpenAI се справи с проблема с ChatGPT версия 1.2024.247, като затвори вектора за изтичане.

„Потребителите на ChatGPT трябва редовно да преглеждат спомените, които системата съхранява за тях, да търсят подозрителни или неправилни спомени и да ги почистват“, каза Ребергер.

„Тази верига от атаки беше много интересна за събиране и показва рисковете от автоматично добавяне на дългосрочна памет към системата, както от гледна точка на дезинформация/измама, но също и по отношение на постоянна комуникация със сървъри, контролирани от нападател.“

Разкритието идва след като група академици разкриха нова техника за джейлбрейк на AI, наречена MathPrompt, която използва разширените възможности на големите езикови модели (LLM) в символната математика, за да заобиколи техните механизми за сигурност.

„MathPrompt използва процес в две стъпки: първо, преобразуване на злонамерени твърдения на естествен език в символични математически проблеми и след това представяне на тези математически кодирани твърдения на целевия LLM студент“, казват изследователите. Той посочи.

Тествано върху 13 най-съвременни модела на LLM, проучването установи, че моделите реагират със злонамерен резултат средно в 73,6% от времето, когато са представени с математически кодирани твърдения, в сравнение с около 1% с немодифицирани неблагоприятни твърдения.

Това идва и след появата на нова функция за коригиране от Microsoft, която, както подсказва името, позволява изходът на изкуствения интелект да бъде коригиран, когато… Открива се неточност (т.е. халюцинации)..

„Изграждайки нашата съществуваща функция за откриване на земята, тази новаторска способност позволява на Azure AI Content Safety да идентифицира и коригира халюцинации в реално време, преди потребителите на генеративни AI приложения да се сблъскат с тях“, според технологичния гигант. Той каза.