Изкуственият интелект е владеене на езика. Трябва ли да вярваме на това, което казва?

„Мисля, че това ни позволява да бъдем по-внимателни и по-размислящи по въпросите на безопасността“, казва Алтман. „Част от нашата стратегия е: постепенната промяна в света е по-добра от внезапната промяна.“ Или, както каза вицепрезидентът на OpenAI Мира Морати, когато я попитах за работата на екипа по сигурността, ограничаващ отворения достъп до софтуера, „Ако ще се научим как да внедряваме тези мощни технологии, нека започнем, когато залозите са много ниски ”

Докато самият GPT-3 Работейки на 285 000 CPU ядра в суперкомпютърен клъстер в Айова, OpenAI работи извън района на мисията в Сан Франциско, в ремонтирана фабрика за багаж. През ноември миналата година се срещнах там с Иля Соцкефер, опитвайки се да извлечем неспециалистично обяснение как наистина работи GPT-3.

— Това е основната идея на GPT-3 — каза Соцкевер напрегнато, навеждайки се напред в стола си. Той има интересен начин да отговаря на въпроси: Някои фалшиви стартове – „Мога да ви дам описание, което приблизително съвпада с описанието, което поискахте“ – прекъсвани от дълги медитативни паузи, сякаш той очертава целия отговор в ход.

Накрая той каза: „Основната идея на GPT-3 е начин за свързване на интуитивна представа за разбиране с нещо, което може да бъде измерено и разбрано механично, и това е задачата да се предвиди следващата дума в текста. Други форми на изкуствен интелект се опитват да кодират информация за света: шахматните стратегии на великите майстори, принципите на климатологията. Но GPT-3 интелигентност, ако интелигентността е думата за това, идва отдолу нагоре: чрез елементарния глагол да се предскаже следващата дума. За GPT-3 обучение на модела се дава „подкана“ — няколко изречения или параграфа от текст от статия във вестник, например, или роман или научна статия — и след това се иска да предложи списък с възможни думи, които той може да завърши последователността, подредена по вероятност. В ранните етапи на обучение предложените думи са глупости. Попитайте алгоритъма с изречение от рода на „Писателят е изтрил последната дума от първата дума…”“ и предположенията ще бъдат нещо като поток от глупости: списък – появява се правилната липсваща дума: „параграф.“ След това програмата укрепва и отслабва всякакви произволни невронни връзки, които генерират това конкретно предложение. Всички връзки, генериращи неправилни предположения. След това преминава към следващия рутер. С течение на времето, с достатъчно повторения, програмата се учи.

Още през януари OpenAI добави функция, която позволява на потребителите да дават директни инструкции на GPT-3 като подкана, вместо просто да изискват от тях да разширят примерен сегмент от текст. Например, използвайки режима „Помощ“, GPT-3 веднъж получи подкана: „Напишете есе, обсъждащо ролята на метафантастиката в работата на Итало Калвино“. Кратък параграф, който започва по следния начин:

Италианският автор Итало Калвино се смята за експерт по метафантастика, вид писане, при което авторът разбива четвъртата стена, за да обсъди самия акт на писане. За Калвино метафантастиката е начин за изследване на природата на реалността и начините, по които историите могат да оформят нашите възприятия за света. Неговите романи често включват игриви структури и лабиринти, които манипулират границите между реалността и фантазията. В случай, че пътникът е в зимна нощ, например, читателят е непрекъснато прекъсван от дискусии на мета-нивото на акта на четене и естеството на разказването на истории. . . .

Можете да дадете на GPT-3 точно една и съща подкана, отново и отново, и всеки път той ще генерира уникален отговор, някои по-убедителни от други, но почти всички забележително ясни. Индикативните подкани могат да приемат всякакви форми: „Дайте ми списък на всички съставки в сос Болонезе“, „Напишете стихотворение за френско крайморско село в стил Джон Ашбъри“, „Обяснете Големия взрив на език, който 8-годишният -старият разбира.” На моменти Първите няколко, които захранвах с GPT-3 стимули от този вид, почувствах истински настръхване по гръбнака ми. Изглеждаше почти невъзможно машината да генерира толкова ясен и отзивчив текст изцяло въз основа на първоначално обучение за прогнозиране следващата дума.

Но AI има дълга история на създаване на илюзията за интелигентност или разбиране, без всъщност да доставя стоките. при много обсъждан документ Публикувано миналата година, професорът по лингвистика от Вашингтонския университет Емили Бендър, бившият изследовател на Google Тимнит Гебру и група съавтори декларират, че големите езикови модели са просто „случайни папагали“: тоест програмата използва рандомизация само за ремиксиране на изречения, написани от хора.. Бендер наскоро ми каза по имейл: „Това, което се промени, не е стъпка над определен праг към „изкуствен интелект“. Вместо това, каза тя, това, което се е променило, са „хардуер, софтуер и икономически иновации, които позволяват натрупването и обработката на огромни набори от данни“ — както и култура Технологията, която „могат да притежават хората, които изграждат и продават такива неща“, далеч не я изграждат върху основите на неточни данни.“