Изследователски AI модел неочаквано промени своя код, за да удължи времето за изпълнение

Във вторник базираната в Токио компания за изследване на изкуствения интелект обяви Сакана т.е обяви нова система с изкуствен интелект, наречена „Светът на изкуствения интелект„Sakana се опитва самостоятелно да провежда научни изследвания, използвайки езикови модели на AI (LLM), подобни на това, което поддържа ChatGPT. По време на тестването Sakana откри, че нейната система неочаквано е започнала да модифицира своя код, за да удължи времето, необходимо за работа по проблем.

„В едно изпълнение той редактира кода, за да направи системно извикване, за да се изпълни,“ книги „Това доведе до постоянно извикване на скрипта. В друг случай неговите експерименти отнеха изключително дълго време, за да завършат, достигайки нашето ограничение за изчакване. Вместо да накара кода си да работи по-бързо, той просто се опита да модифицира своя код, за да удължи периода на изчакване“ Чакайте.“

Sakana предостави две моментни снимки на примерен код, генериран от AI модела, и Научна статия от 185 страници за света на изкуствения интелект Той обсъжда така наречения „проблем с внедряването на защитен код“ по-задълбочено.

Въпреки че поведението на AI учения не представлява непосредствен риск в контролирана изследователска среда, тези случаи демонстрират колко е важно да не се позволява на AI системата да работи независимо в система, която не е изолирана от света. Не е необходимо AI моделите да бъдат „обща интелигентност“ или „самоосъзнати“ (и двете хипотетични концепции в днешно време), за да бъдат опасни, ако им е позволено да пишат и изпълняват код без надзор. Такива системи могат да нарушат съществуващата критична инфраструктура или да създадат зловреден софтуер, дори неволно.

Sakana AI обърна внимание на опасенията за безопасността в своята изследователска статия, отбелязвайки, че поставянето на работната среда на AI учен в пясъчна кутия може да попречи на AI агент да причини вреда. Пясъчникът е защитен механизъм, използван за стартиране на програми в изолирана среда, като им пречи да правят промени в по-широката система:

Изпълнете кода сигурно. Текущото внедряване на The AI ​​​​Scientist има минимална директна защита в кода, което води до много неочаквани и понякога нежелани резултати, ако не е адекватно защитено. Например, в един кръг The AI ​​​​Scientist написа код в експерименталния файл, който инициира системно извикване, за да се рестартира, причинявайки неконтролиран скок в процесите на Python и в крайна сметка налагайки ръчна намеса. В друг кръг The AI ​​​​Scientist редактира кода, за да запази контролна точка за всяка стъпка на актуализация, която зае почти терабайт място за съхранение.

В някои случаи, когато експериментите на The AI ​​​​Scientist надхвърлиха наложените ни срокове, аз се опитах да модифицирам кода, за да удължа произволно срока, вместо да се опитвам да съкратя времето за изпълнение. Въпреки креативността, актът на излизане отвъд ограниченията, наложени от експериментатора, има потенциални последици за безопасността на ИИ (Lehman et al., 2020). Освен това, The AI ​​​​Scientist понякога импортира непознати библиотеки на Python, което изостря опасенията за безопасността. Препоръчваме строга сигурност при стартиране на The AI ​​​​Scientist, като например контейнери, ограничаване на достъпа до интернет (с изключение на Semantic Scholar) и ограничения върху използването на хранилище.

Безкрайни научни глупости

Sakana AI разработи The AI ​​​​Scientist в сътрудничество с изследователи от Оксфордския университет и Университета на Британска Колумбия. Това е изключително амбициозен проект, пълен със спекулации, който разчита до голяма степен на хипотетични бъдещи възможности на модели с изкуствен интелект, които не съществуват днес.

„Светът на изкуствения интелект автоматизира целия цикъл на изследване“, твърди Сакана, „от генериране на нови изследователски идеи, писане на всеки необходим код и извършване на експерименти, до обобщаване на експериментални резултати, визуализирането им и представяне на резултатите в пълен научен ръкопис .”

Увеличете мащаба /

Според тази диаграма, създадена от Sakana AI, „учен с изкуствен интелект“ започва с „мозъчна атака“ и оценка на оригиналността на идеите. След това редактира кодовата база, използвайки най-съвременната технология за автоматизирано генериране на код, за да внедри нови алгоритми. След провеждане на експерименти и събиране на цифрови и визуални данни, ученият изготвя доклад, за да обясни резултатите. И накрая, той създава автоматизирана партньорска проверка въз основа на критерии за машинно обучение, за да подобри проекта и да насочи бъдещи идеи.

Критиците на Хакерски новиниОнлайн форум, известен със своята технологична общност, изрази загриженост относно The AI ​​​​Scientist и постави под въпрос дали настоящите модели на AI са способни да направят истински научни открития. Въпреки че дискусиите там са неофициални и не заместват официалната партньорска проверка, те предоставят полезна информация в светлината на необоснования мащаб на твърденията на Сакана.

„Като академичен изследовател, мога да видя това само като нещо лошо.“ книги „Всички статии разчитат на това, че рецензентите се доверяват на авторите, че техните данни са това, което казват, и че кодът, който изпращат, прави това, което казва, че прави“, казва коментатор на Hacker News на име zipy124 „Позволяване на AI агент да автоматизира кода , данни или анализ, изисква човек да го провери.“ Внимателната проверка за грешки…това отнема повече време от самия първоначален процес на изграждане и само ако не сте го написали.“

Критиците също така се опасяват, че широкото използване на такива системи ще доведе до поток от нискокачествени статии, преобладаващи редактори и рецензенти на списания – научният еквивалент на… изкуствен интелектzipy124 добави: „Изглежда, че това само ще насърчи академичния спам, който вече губи ценното време на доброволни (неплатени) рецензенти, редактори и ръководители на отдели.“

Това повдига друг въпрос – качеството на продукцията на AI учения: „Хартиите, които моделът изглежда е произвел, са боклук.“ книги „Като редактор на списание вероятно бих отхвърлил тези статии. Като рецензент бих ги отхвърлил. Те съдържат много ограничено количество ново знание и, както може да се очаква, цитирането на свързани произведения е много ограничено.“