Партньорството на Microsoft OpenAI се роди от завистта на Google

Оказва се, че днешният AI пейзаж може да бъде проследен до страх, ревност и интензивна капиталистическа амбиция. Първо имейлите, разкрити в антитръстовото дело на Министерството на правосъдието срещу Google споменати от Интересува се от търговия, показва ръководители на Microsoft, които изразяват своето раздразнение и завист от напредъка на Google в областта на изкуствения интелект. Това катализира спешността, която накара производителя на Windows да направи първоначална инвестиция от 1 милиард долара в своя вече незаменим партньор, OpenAI.

В силно редактирана поредица от имейли от 2019 г., озаглавена „Мисли за OpenAI“, главният изпълнителен директор на Microsoft Сатя Надела изпраща дълго писмо от техническия директор Кевин Скот до финансовия директор Ейми Худ. „Много добър имейл, обясняващ защо искам да направим това… и също защо след това ще гарантираме, че нашият инфраструктурен персонал ще направи това“, написа Надела.

Скот написа, че е „силно загрижен“ за бързо нарастващите възможности на AI на Google. Той казва, че първоначално е отхвърлил „вълнуващите геймплей игри“ на компанията, вероятно препратка към моделите AlphaGo на Google. Един от тях победи световния шампион Go Ke Jie през 2017 г., впечатляващо постижение за онова време. (По-късните модели на Google надхвърлиха този модел, елиминирайки изцяло нуждата от човешко обучение.)

Но Скот казва, че игнорирането на напредъка на Google в игрите „е грешка“. „Когато превзеха цялата инфраструктура, която бяха изградили [natural language] „Моделите, които не можехме лесно да копираме, започнаха да приемат нещата по-сериозно“, пише Скот. „Когато се задълбочих в опитите си да разбера къде са всички пропуски в способностите между Google и нас по отношение на модулното обучение, се почувствах много, много загрижен.“

Скот разказва как Microsoft се е борил да копира големия BERT модел на Google, AI моделът, който декодира значението и контекста на думите в изречение. Скот обвини скокове в инфраструктурата, направени от неговия конкурент, което Microsoft не направи.

„Оказа се, че простото възпроизвеждане на големия модел BERT не беше лесно за нас. „Въпреки че разполагахме с модела, ни отне приблизително 6 месеца да го обучим, защото нашата инфраструктура не се справяше със задачата“, CTO на Microsoft. написа „Google имаше BERT поне шест месеца преди това, така че във времето, което ни отне да хакнем заедно способността да обучим модел с параметри 340M, те имаха една година, за да разберат как да го пуснат в производство и да продължат напред. към по-широки, по-интересни модели.

Той също така изрази своето възхищение и завист към възможностите на Google за автоматично довършване на Gmail, като каза, че те са „станали плашещо добри“. Той коментира, че Microsoft е „няколко години зад конкуренцията по отношение на… [machine learning] Обем.“ Той коментира „интересния“ растеж в OpenAI, DeepMind и Google Brain.

Скот похвали „много умните“ хора на Microsoft в екипите за машинно обучение, но каза, че амбициите им са ограничени. „Но основните екипи за задълбочено обучение във всеки от тези големи екипи са много малки и техните амбиции също са ограничени, което означава, че дори когато започнем да ги захранваме с ресурси, те все още трябва да преминат през процес на обучение, за да мащабират работата,“ Скот написа. „И ние сме няколко години зад конкуренцията по отношение на мащаба на машинното обучение.“

След като Худ настоя, че притесненията на Скот са „защо искам да направим това“, а именно инвестирането в OpenAI, компанията изпълни желанията на своя главен изпълнителен директор. Microsoft инвестира 1 милиард долара в стартиращата компания, ръководена от Сам Алтман през 2019 г., а останалото е бързо променяща се история. (Сега е инвестирала 13 милиарда долара.) Това е технология, която прави невероятни неща, но заплашва да унищожи пазара на труда и дава на проповедниците техния най-мощен инструмент в това, което вече беше ера на необуздана дезинформация.