На прага ли сме на експлозия в самоусъвършенстващия се AI?

Докато GPT-3.5 и Mixtral не успяха да подобрят функцията си на усилвател по този начин, GPT-4 показа скромни подобрения в своя усилвател на семена през следващите поколения. В много малък брой случаи (по-малко от 0,5 процента) функцията за оптимизиране е изключила сигнал „sandbox“, предназначен да ограничи възможностите му, подчертавайки потенциала за саморазширен AI да модифицира всички вградени защити.

„Тъй като самите езикови модели не са се променили, това не е напълно рекурсивна самооптимизация“, отбелязват изследователите. „Това обаче показва, че съвременният езиков модел, GPT-4 в нашите експерименти, е способен да пише код, който може да се нарече самоусъвършенстващ се.“

Висок риск, висока награда

Тези примери всъщност само надраскват повърхността на това, което се превърна в основен изследователски фокус върху самоусъвършенстването в областта на ИИ. Google DeepMind, Microsoftи ябълка Публикувани са подобни документи, разглеждащи тази концепция, заедно с многобройни академичен Лаборатории. От страна на връзките с обществеността, Сатя Надела от Microsoft Наскоро говорих „Итерация… за използване на AI за изграждане на AI инструменти за изграждане на по-добър AI.“

Главният изпълнителен директор на Microsoft Сатя Надела казва, че разработването на AI се оптимизира чрез модела o1 на OpenAI и е навлязло в итеративна фаза: „Ние използваме AI, за да създадем AI инструменти, за да изградим по-добър AI.“ pic.twitter.com/IHuFIpQl2C

– Царатостра (@tsarnik) 21 октомври 2024 г

Всички тези изследвания карат някои наблюдатели да се притесняват от възможността за самокриптиращи AI системи, които бързо изпреварват нашия интелект и способността да ги контролираме. В отговор на изследването на Anthropic в бюлетина за изкуствен интелект, Дейв Едуардс Той подчерта безпокойството:

В продължение на стотици години способността да се самоусъвършенстваме е била фундаментална за разбирането ни какво означава да бъдеш човек и способността ни да се самоопределяме и да създаваме смисъл като индивиди и групи. Какво тогава означава, че хората вече не са единствените самоусъвършенстващи се същества или неща в света? Как ще разберем разпадането на това разбиране за нашата изключителност?

Въпреки това, въз основа на проведените досега изследвания, може да не сме толкова близо до вида „пробив на AI“, както смятат някои наблюдатели. в Февруарски постДжим Фан, старши изследователски директор в Nvidia, подчерта, че самоподсилващите се модели в изследователски настройки обикновено достигат точка на „насищане“ след три итерации. След това, вместо да се насочат към превъзходна интелигентност, те са склонни да започнат да показват намаляваща възвращаемост с всеки следващ модел.