Поговорили тут с Денисом Ширяевым на тему того, согласен ли он с Юдковским или нет. Тут следует, правда, сделать пометочку, что Денис у нас предвзят, поскольку сам тренирует нейронки и работает в стартапе, который эти ИИ создаёт, но вот его взгляд на проблему:
ЗАВТРАКАСТ: Как ты считаешь, прав Элиезер Юдковский или нет?
ДЕНИС: Мне кажется, он с ума сошёл.
З: Почему? Он же с 2001 года топит за "добрый искин", а тут есть неиллюзорный шанс, что он будет "злым". Собственно, в чём он не прав, если это произойдет? Ведь лучше убить Скайнет раньше, чем она убьет человечество. Другое дело, что такое вряд ли произойдет.
Д: Его статья просто содержит советы уровня ДТФ-юзера. То, что алаймент ИИ это важная тема, все согласны. Она же - самая высокоинвестируемая сейчас, после самих тренировок нейросетей. Формулировки у него панические и люди, почитав их, будут еще более радикальны к прогрессу и к ИИ разработке.
З: Например?
Д: Ну он пишет что "у нас мало времени, чтобы решить все проблемы", будто бы AGI за углом уже, что неправда, даже GPT-5 не будет искином. У нас есть 5-10 лет, что для индустрии ML просто вечность, чтобы решить все проблемы. Нейросети-трансформеры, на которых работают GPT, вышли в 2017 году вообще.
Он умный человек, но заведомо предлагает странные вещи, типа армии остановить, треньки всем прекратить. Это просто вброс, он же понимает что это звучит глупо, как "а давайте жить в мире". Это просто фантазия.
З: Смысл таких статей в Time в том, чтобы вызвать awareness у публики, собственно, в этом смысл вообще всего журнала. Там общие сведения для того чтобы народ смог "подумать" над вопросом.
Д: Вот смотри, статья прошлого года, (https://openai.com/blog/our-approach-to-alignment-research) где OpenAI рассказывает о своём подходе к разработке. Позиция Юдковского сейчас такая, как если бы какой-нибудь Лукьяненко сейчас бы написал про ИИ.
А основное у него, вот: "Юдковский считает, что нет никого, кто знал бы, как решить эту проблему и не успеет придумать её решение за оставшееся время".
Как я уже сказал, нейросети-трансформеры придумали в 2017 году, нет смысла верить в то, что кто-то что-то не наресёчит, потому что это не то, как показал себя прогресс с 2017 года. Ну и такой вот "полу-ИИ" поможет людям решать новые проблемы. Уже доказано многими исследованиями где еще примитивные виды GPT использовали в своих рисёчах.
Позиция Юдковского сильно пессимистична:
1. нет лимита времени на сильный AGI, так как он вообще не близко, тем более до того, который бы угрозу представлял для людей
2. опять же, зачем не верить в силу ресёча, это, как минимум, странно
3. компании в курсе про ИИ-алаймент получше Юда
4. целое направление в ML сейчас это работа над ценностями, уже сейчас научились курировать токсичность модели, точно так же научатся курировать кровожадность и непослушание - это уже существующие ресёчи.
Юдковский поднимает вопросы, над которыми работают с 1960-х, ничего нового для представителей ИИ индустрии он не сказал, но выдал целую лопату паники для коммон фолкс. Он фантаст, но нет ничего из поднятых ими вопросов, про что бы уже не писали или не исследовали, а судя по его статье в Time, он фантаст, оторванный от реальности, предлагающий человечеству сделать "единое правительство" - что нонсенс и, скорее, как раз ставит его в позицию ребенка, который пуглив и так радикален.
Короче, я считаю, что он набросил говна на вентилятор, а нам разгребать.
