Ето какво всъщност се случва в невронната мрежа на LLM

С повечето компютърни програми, дори сложни, можете да проследите кода и да използвате точно паметта, за да го разгадаете Защо Тази програма създава специфично поведение или резултат. Това обикновено не е вярно в генеративния AI, където необяснимите невронни мрежи, лежащи в основата на тези модели, затрудняват дори експертите да разберат точно защо те често комбинират информация, например.

сега, Ново изследване от Anthropic Предлага нов прозорец към това, което се случва в „черната кутия“ на Claude LLM. Компания Нова хартия В „Извличане на интерпретируеми характеристики от 3 сонета на Клод“ той описва мощен нов начин поне частично да обясни как милиони изкуствени неврони в модела се задействат, за да създадат изненадващо реалистични отговори на общи запитвания.

Отворете капака

Когато се анализира LLM, е лесно да се види кои специфични изкуствени неврони се активират в отговор на дадено запитване. Но MBA не просто съхранява различни думи или концепции в един неврон. Вместо това, както обясняват изследователите на Anthropic, „се оказва, че всяка концепция е представена от много неврони и всеки неврон участва в представянето на много концепции“.

За да сортирате този хаос от едно към много и от много към едно, ред Разредени автоенкодери За работа може да се използва сложна математика Алгоритъм за изучаване на речник. чрез формуляр. Този процес подчертава кои групи от неврони са склонни да се активират по-последователно за конкретни думи, които се появяват в различни текстови подкани.

Тези многоизмерни невронни модели след това се сортират в така наречените „характеристики“, свързани с определени думи или концепции. Тези характеристики могат да включват всичко от прости собствени съществителни като мостът Голдън Гейт Към по-абстрактни понятия като напр Програмни грешки или Функция добавяне В компютърния код той често представлява една и съща концепция на множество езици и комуникационни режими (напр. текст, изображения).

че Октомври 2023 Антропологично изследване Покажете как този основен процес може да работи върху много малки, еднослойни модели играчки. Новият размер на хартията на компанията се разширява драстично, определяйки десетки милиони активни функции в модела Claude 3.0 Sonnet от среден клас. Получената карта на функции – която можете да направите Частично проучен– Създава „груба концептуална карта на [Claude’s] „Вътрешните състояния са наполовина изчислени“ и показват „дълбочина, широчина и абстракция, които отразяват разширените възможности на Sonnet“, пишат изследователите. В същото време изследователите предупреждават, че това е „непълно описание на вътрешните представяния на модела“, което вероятно е „със значителни числа“ по-малко от пълното картографиране на Claude 3.

Дори на повърхностно ниво, разглеждането на тази карта на функциите помага да се покаже как Клод свързва определени ключови думи, фрази и концепции с нещо, което се доближава до познанието. а Функция, наречена „Столици“ Например, те са склонни да бъдат силно активирани, когато използват фразата „столица“, но също и конкретни имена на градове като Рига, Берлин, Азербайджан, Исламабад и Монпелие, Върмонт, за да назовем само няколко.

Проучването също така изчислява математическа мярка на „разстоянието“ между различни характеристики въз основа на тяхната невронна прилика. „Отличителните квартали“, произтичащи от този процес, „често са организирани в геометрично свързани групи, които споделят семантична връзка“, пишат изследователите, демонстрирайки, че „вътрешната организация на концепциите в AI модела съответства, поне до известна степен, на към нашите човешки представи.” Концепции за подобие.“ Мостът Golden Gate Bridge, например, е сравнително „близък“ до характеристиките, описващи „остров Алкатраз, площад Жирардели, Голдън Стейт Уориърс, губернатора на Калифорния Гавин Нюсъм, земетресението от 1906 г. и снимачната площадка на Алфред Хичкок в Сан Франциско“. световъртеж„.

Идентифицирането на специфични характеристики на LLM също може да помогне на изследователите да очертаят веригата от изводи, които моделът използва, за да отговори на сложни въпроси. Например подкана за „Столицата на щата, където Коби Брайънт е играл баскетбол“ показва активност в поредица от елементи, свързани с „Коби Брайънт“, „Лос Анджелис Лейкърс“, „Калифорния“, „Кепиталс“ и „Сакраменто“. “, за да назовем няколко, за които е изчислено, че имат най-голямо въздействие върху резултатите.