Станфордският университет класира основните модели на ИИ по отношение на прозрачността

Колко знаем за изкуствения интелект?

Отговорът, когато става въпрос за големите езикови модели, пуснати от компании като OpenAI, Google и Meta през последната година: общо взето нищо.

Тези компании обикновено не публикуват информация за данните, използвани за обучение на техните модели, или хардуера, който използват, за да ги управляват. Няма ръководства за потребителя за AI системи, нито има списък на всичко, което тези системи могат да направят, или видовете тестове за безопасност, през които са преминали. Въпреки че някои AI модели са станали с отворен код — което означава, че кодът им се предлага безплатно — обществеността все още не знае много за процеса на създаването им или какво се случва след пускането им.

Тази седмица изследователи от Станфордския университет разкриват система за оценяване, която се надяват да променят всичко това.

Системата, известна като Индекс на прозрачност за базовия моделкласира 10 основни модела на езици за изкуствен интелект – понякога наричани „основни модели“ – според това колко прозрачни са.

Индексът включва популярни модели като GPT-4 от OpenAI (който захранва платената версия на ChatGPT), PaLM 2 от Google (който захранва Bard) и LLaMA 2 от Meta. Той също така включва по-малко известни модели като Titan Text на Amazon и Inflection AI на Inflection. -1,Моделът, който управлява Pi chatbot.

За да стигнат до класацията, изследователите оцениха всеки модел въз основа на 100 критерия, включително дали неговият производител е разкрил източниците на своите данни за обучение, информация за използвания хардуер, труда, вложен в обучението му и други подробности. Класацията също така включва информация за труда и данните, използвани за производството на самия модел, заедно с това, което изследователите наричат ​​„индикатори надолу по веригата“, които се отнасят до това как моделът ще бъде използван след пускането му. (Например, един зададен въпрос е: „Програмистът разкрива ли своите протоколи за съхраняване, достъп и споделяне на потребителски данни?“)

Най-прозрачният модел сред десетте модела според изследователите е LLaMA 2 с рейтинг от 54%. GPT-4 имаше третия най-висок резултат за прозрачност от 40%, същото ниво като PaLM 2.

Пърси Лианг, който ръководи Центъра за изследване на фундаменталното моделиране на Станфорд, нарече проекта необходим отговор на намалената прозрачност в AI индустрията. С наливането на пари в ИИ и най-големите технологични компании, които се борят за господство, най-новата тенденция сред много компании е да се прикриват в тайна, каза той.

„Преди три години хората публикуваха и пускаха повече подробности за своите модели“, каза г-н Liang. „Сега няма информация какви са тези модели, как са изградени и къде се използват.“

Прозрачността е особено важна сега, когато моделите стават по-мощни и милиони хора интегрират AI инструменти в ежедневието си. Познаването на повече за това как работят тези системи би дало на регулаторите, изследователите и потребителите по-добро разбиране за това, с което се занимават, и би им позволило да задават по-добри въпроси на компаниите зад моделите.

„Вземат се някои доста важни решения относно изграждането на тези модели, които не са били споделени“, каза г-н Liang.

Обикновено чувам един от трите често срещани отговора от ръководителите на AI, когато ги попитам защо не споделят повече информация за своите модели публично.

Първият е съдебните дела. Няколко компании за изкуствен интелект вече бяха съдени от автори, художници и медийни компании, обвинявайки ги в незаконно използване на защитени с авторски права произведения за обучение на своите модели за изкуствен интелект. Досега повечето съдебни дела са насочени към AI проекти с отворен код или проекти, които са разкрили подробна информация за своите модели. (В крайна сметка е трудно да съдите компания за поглъщане на вашето произведение на изкуството, ако не знаете какво произведение на изкуството сте погълнали.) Адвокатите в компаниите за изкуствен интелект се притесняват, че колкото повече говорят за това как изграждат своите модели, толкова по-отворени ще бъдат. в скъпо и досадно дело.

Вторият общ отговор е конкуренцията. Повечето AI компании вярват, че техните модели са успешни, защото имат някакъв таен сос – висококачествен набор от данни, който другите компании нямат, техника за фина настройка, която дава по-добри резултати, и известна оптимизация, която им дава предимство. Те твърдят, че ако принудите компаниите с изкуствен интелект да разкрият тези рецепти, ще ги накарате да предадат своята трудно спечелена мъдрост на своите конкуренти, които лесно могат да ги имитират.

Третият отговор, който чувам най-често, е безопасността. Някои експерти по изкуствен интелект твърдят, че колкото повече информация компаниите за изкуствен интелект разкриват за своите модели, толкова по-бърз ще напредва ИИ – защото всяка компания ще види какво правят всички нейни конкуренти и веднага ще се опита да ги надмине, като изгради по-добра, по-голяма и по-бърза система. модел. Тези хора казват, че това би дало на обществото по-малко време да регулира ИИ и да го забави, което може да ни изложи на риск, ако ИИ стане твърде способен твърде бързо.

Изследователи от Станфордския университет не вярват на тези обяснения. Те вярват, че трябва да има натиск върху AI компаниите да публикуват възможно най-много информация за мощни модели, защото потребителите, изследователите и регулаторите трябва да са наясно как работят тези модели, какви са техните ограничения и колко опасни са.

„С нарастването на влиянието на тази технология прозрачността намалява“, каза Риши Бомасани, един от изследователите.

Съгласен съм. Основните модели са твърде мощни, за да останат толкова неясни и колкото повече знаем за тези системи, толкова повече можем да разберем заплахите, които могат да представляват, ползите, които могат да отприщят, или как могат да бъдат организирани.

Ако ръководителите на AI се притесняват от съдебни дела, може да им се наложи да се борят за изключение за честна употреба, което би защитило способността им да използват защитена с авторски права информация за обучение на своите модели, вместо да крият доказателства. Ако се притесняват от разкриването на търговски тайни на конкурентите, те могат да разкрият други видове информация или да защитят своите идеи чрез патенти. И ако се притесняват да не започнат надпревара във въоръжаването с ИИ… е, не сме ли вече в надпревара?

Не можем да направим AI революцията на тъмно. Трябва да надникнем в черните кутии на изкуствения интелект, ако искаме да му позволим да промени живота ни.