О неудачном перевороте Сэма Альтмана в совете директоров OpenAI и опасности оставить судьбу ИИ в руках немногих

Более 500 человек HackerNoon вчера проголосовали в нашем опросе , спрашивая, что произойдет во время непредсказуемой поездки на американских горках, которую можно описать только как грандиозную попытку государственного переворота со стороны (ныне несуществующего) Совета OpenAI , подавляющее большинство выбрав вариант, который в конечном итоге выберет Сэм Альтман. вернуться в OpenAI в качестве генерального директора.

И читатели HackerNoon правы! Последние и заключительные переговоры между сотрудниками OpenAI «верните Сэма или мы уйдем» и инвесторами OpenAI, возглавляемыми в основном генеральным директором Microsoft Сатьей Наделлой, и тяжеловесами Силиконовой долины (я обсудим их позже в этой статье) наконец-то пришел к своему «хеппи-энду». Переворот провалился. В их триумфальное возвращение Сэма и Грега теперь будут приветствовать 95% OpenAI (более 778 из 770 сотрудников, согласно Bloomberg, подписали письмо), новый Совет директоров, а также больше славы и власти, чем когда-либо!

Я все еще полууверен, что в ближайшие месяцы или годы появятся новые исследовательские работы, судебные иски и даже изменения в политике. чтобы пролить свет на произошедшее. И это еще не конец беспорядков в OpenAI.

Но сначала краткий обзор

Чтобы быть на 100% вовлеченным в эту драму, вам следует прочитать мою статью в пятницу, в которой объявляются и размышляют о деталях увольнений Сэма Альтмана, и статью в понедельник, в которой изложен хронологический график того, что произошло за выходные. . Когда мы закончили, Сэм и Грег все еще собирались присоединиться к Microsoft, чтобы стать еще одним корпоративным норманом (смеется). Был объявлен новый временный генеральный директор (заменивший уже временного генерального директора Миру Мурати, которая оказалась сторонником Сэма): Эмметт Шир, наиболее известный как бывший генеральный директор Twitch. Ага, Твич. Платформа потокового вещания игр. Ничего связанного с ИИ.

Сатья Наделла, генеральный директор Microsoft, несмотря на то, что он был очень позитивен и оптимистичен во всех своих публичных выступлениях и заявлениях , решительно указал на то, что изменения абсолютно необходимы на уровне корпоративного управления, и что для Microsoft, владеющей 49% акций, больше не должно быть сюрпризов. и самый важный институциональный партнер OpenAI. Я прочитал это так: Совет директоров должен быть уволен, и Microsoft никогда больше не окажется в такой ситуации с новым Советом директоров.

А затем, около полуночи вторника, 21 ноября, рано утром в среду, 22 ноября, Open AI объявил сами-знаете что, новость, которую ждали Сэм и компания и большинство оптимистов Силиконовой долины:

СЭМ 👏 👏 НАЗАД 👏

В том же объявлении было упомянуто, что в новый совет OpenAI войдут: Брет Тейлор (председатель), Адам Д'Еангело и Ларри Саммер. Примечательно, что в нем не упоминаются Сэм Альтман, Илья Суцкевер, Таша МакКоли и Хелен Тонер.

Несовпадение некоммерческих и коммерческих организаций: проклятие существования OpenAI

Я думаю, что наиболее правдоподобная теория относительно того, почему перевороту было позволено произойти, заключается в следующем: у Совета (ныне несуществующего) OpenAI, некоммерческой организации, которая контролирует коммерческое ООО (см. рисунок), не должно быть никаких стимулов для того, чтобы максимизировать прибыль, что является основным принципом OpenAI, создателя Chatgpt, который привлек 13 миллиардов долларов от Microsoft и имел фидуциарную обязанность зарабатывать деньги для своих инвесторов. Все члены совета директоров с правом голоса, включая самого Альтмана, не владеют акциями OpenAI. Их миссия, как указано в уставе компании, состоит в том, чтобы «обеспечить, чтобы общий искусственный интеллект — системы искусственного интеллекта, которые, как правило, умнее людей — приносили пользу всему человечеству». Другими словами, совет некоммерческой организации, который курирует коммерческое ООО, не заинтересован ни в возврате денег инвесторам , ни в вычислительных мощностях Microsoft (которые абсолютно необходимы для проведения исследований, необходимых для внедрения AGI), ни в том факте, что что OpenAI с момента выпуска ChatGPT за десятилетия де-факто стала технологической компанией духа времени. Все, в чем оно было заинтересовано и по закону обязано было контролировать, — это безопасное внедрение общего искусственного интеллекта, или AGI. Теоретически они были совершенно счастливы не зарабатывать больше денег, не сокращаться и не возвращаться в небольшую элитную исследовательскую группу.

Эта теория, на мой взгляд, была наиболее правдоподобной, поскольку (как упоминалось в моем последнем рассказе ) тот факт, что я , Суцкевер , соучредитель и главный научный сотрудник OpenAI, был частью первоначальной фракции Совета директоров, которая в первую очередь вытеснила Сэма. (Позже он пожалел о своем решении и совершил разворот, который, можно с уверенностью сказать, удивил абсолютно всех.) У него блестящий ум, и широко распространено мнение, что он является мозгом Операции. Фактически, к OpenAI его привлек сам Илон Маск (из Google Deepmind), что, по словам Маска , вызвало очевидный разрыв в давней дружбе Илона Маска и генерального директора Google Ларри Пейджа. Разлом в то время (еще в 2015/2016 году) был вокруг безопасности ИИ. Илья заботился о безопасности ИИ, как и Илон, а Ларри — нет. Итак, Илья стал командой OpenAI.

Еще одна причина, по которой я считаю, что это фундаментальное разногласие/несогласованность в отношении безопасности ИИ, заключается в том, что Хелен Тонер, одна из трех членов Совета директоров, проголосовавших за отстранение Сэма, недавно написала исследовательскую работу , в которой (как сообщает New York Times) поддерживал прямого конкурента OpenAI Anthropic и критиковал подход OpenAI к развертыванию AGI. Заметьте, Anthropic был создан именно из-за этой проблемы с безопасностью ИИ. Ее основателями являются Дарио Амодей, бывший вице-президент OpenAI по исследованиям, и его сестра Даниэла Амодей, которая была вице-президентом OpenAI по безопасности и политике. Несколько других выпускников исследований OpenAI также входили в команду основателей Anthropic. Еще более странно то, что генеральный директор Anthropic Дарио, как сообщалось, подвергся переманиванию со стороны старого совета директоров по поводу потенциального слияния с OpenAI (лол, компании, из которой он вообще ушел), и отказался.

И, наконец, буквально вчера, всего за несколько часов до того, как стало известно о триумфальном возвращении Сэма и Грега, Илон Маск, первоначальный основатель и инвестор OpenAI, поделился на своей платформе X письмом от «обеспокоенных» бывших сотрудников OpenAI о , среди прочего, тревожная модель поведения Сэма Альтмана и его коллег, которые не слушают исследователей безопасности. Полный текст письма смотрите здесь . Другими словами, большинство людей, которые на протяжении многих лет были в серьезном несогласии с Сэмом по поводу безопасности ИИ, ушли. От OpenAI, по большей части, остались сторонники Сэма.

Познакомьтесь с новым советом директоров OpenAI

В ходе переговоров о возвращении Сэма Альтмана на пост генерального директора (старое) Совет директоров согласился включить в состав Совета этих трех первоначальных лиц. Итак, давайте познакомимся с ними.

Брет Тейлор

Брет Тейлор — один из самых влиятельных и уважаемых технологов в Кремниевой долине. Он наиболее известен как бывший генеральный директор Salesforce, ведущей компании в области облачных программных услуг. Но еще более примечательно то, что Тейлор сыграл ключевую роль в качестве председателя совета директоров (бывшего) Twitter, где он сыграл важную роль в (принуждении) к приобретению Twitter через глотку Илона Маска после того, как миллиардер шлепнулся. сделки на 44 миллиарда долларов (см. здесь , здесь и здесь ).

Ларри Саммер

Лоуренс «Ларри» Саммерс — американский экономист, бывший вице-президент по экономике развития и главный экономист Всемирного банка, а также бывший министр финансов США. Он наиболее известен как 27-й президент Гарвардского университета. Во время своего пребывания в Гарварде Саммерс вызвал споры своими комментариями о женщинах в науке, предположив, что внутренние различия в способностях между мужчинами и женщинами могут быть причиной недостаточной представленности женщин в областях науки и техники. Эти замечания вызвали широкую критику и сыграли значительную роль в его возможной отставке с поста президента Гарварда. Пойди разберись.

Адам Д'Анджело

Адам Д'Анджело, генеральный директор Quora, популярного сайта вопросов и ответов. До Quora он был техническим директором Facebook и, возможно, также был одним из многих соучредителей компании, помимо Марка Цукерберга. В частности, он единственный постоянный член совета OpenAI, который по-прежнему будет работать в этом новом совете. Ага, Совет директоров, который в первую очередь выгнал Сэма.

Хммм, превосходный специалист по деловым сделкам ( единственный взрослый в комнате, который мог заставить Илона соблюдать его юридически обязывающий контракт на покупку Твиттера ), влиятельный, хотя и неоднозначный экономист (сексистские комментарии Ларри о женском интеллекте не сулили бы ничего хорошего свергнутому совету директоров). участники, оба женщины!), и загадочный генеральный директор, который редко давал интервью (никто не знает, почему Адам (предположительно) выгнал Сэма, даже по сей день)… это люди, которые, как мы сейчас имеем, контролируют судьбу, возможно, самого влиятельного технологии нашего времени.

Заключительные мысли (надеюсь, это последний раз в этой саге, на данный момент)

Искусственный интеллект может стать самой важной технологией этого десятилетия и последующих десятилетий. Но история, развернувшаяся в минувшие выходные, просто показывает нам, насколько несовершенны люди, которым угрожает опасность, и которые находятся под контролем. Сообразительные технологии + несовершенные люди = довольно катастрофическая комбинация, имхо. Независимо от того, насколько ошибочным, иррациональным и, казалось бы, безумным кажется ныне несуществующее правление OpenAi в своем решении уволить Сэма, в комнате все еще есть большой, гигантский, огромный слон, который является событием, которое инициирует решение в первую очередь. место.

Сообщалось, что Сэм принципиально согласился на тщательное расследование по возвращении. А до тех пор я буду в лучшем случае скептически относиться к способности нового Совета одновременно поддерживать высокую миссию OpenAI по спасению человечества от сверхумных роботов (перефразировано), одновременно зарабатывая много денег. Кажется парадоксом, как и капитализм, эффективный альтруизм и люди, если уж на то пошло.