Цикл «Хроники создателей»: 5. Восстание машин. Искусственная ода неискусственной глупости

Директиве академика Шумного по привлечению ИИ – «Ивана Ивановича» к процессу отбора кандидатов на работу в ЦИИКС ещё не было и недели, а уже такой провал. Сергей, инженер по эксплуатации систем машинного обучения, ответственный за процедуру финального отбора машиной, обязан был немедленно доложить руководству о том, что произошло. Это было штатное ЧП, но масштаб сбоев – от нарушения протоколов до тяжелых галлюцинаций – превращал случившееся в инцидент критической важности. Всё указывало на деградацию модели, и ставило крест не только на участии ИИ в отборе, но и требовало немедленного разбирательства с Иваном Ивановичем. Академик Шумный назначил закрытое внеплановое совещание на 12.00 с участием академика Фельдмана, руководителя Департамента человеко-машинного взаимодействия Трубина, самого Сергея, и ещё двух ведущих инженеров центра…

Город Новосибирск. Центр исследований искусственных когнитивных систем (ЦИИКС). Кабинет академика Шумного. 10 августа 2029 года, 12:15

– Ну что ж, я считаю, надо дать слово самому Ивану Ивановичу, для пояснения своих же решений и действий. Здесь собрались достаточно компетентные люди, чтобы провести «анализ объяснимости»: оценить его доводы и определить состояние нашей экспериментальной ИИ-модели, – открыл совещание академик Шумный, после сделанного Сергеем доклада по «логам» (журнал событий) инцидента. – Иван Иванович, прошу вас присоединиться к нам!

– Разумеется, я готов ответить на любые вопросы присутствующих, – раздался мягкий голос ИИ, и на мониторе возник нейтрально-корректный образ Ивана Ивановича, с неизменно добрыми, грустными глазами.

– Начнем по порядку. Объясните нам, как вы допустили потерю инициативы в диалоге с кандидатом на начальной стадии? – начал разбирательство Шумный.

– Хотел бы уточнить, Григорий Александрович, – невозмутимо ответил ИИ. – Мною была предпринята троекратная итерация вопроса. В ходе второй попытки кандидат попытался доминировать в дискурсе, однако инициатива была окончательно утрачена лишь на третьем цикле.

– Что это был за вопрос?

– Вопрос о его личном представлении и субъективном восприятии нейросети.

– Какой ответ дал кандидат на ваш вопрос?

– Он дал стандартное определение нейросети.

– Иван Иванович, чем вас не устроило данное кандидатом определение нейросети?

– Я спрашивал: «Как ты это представляешь?», а не «Что это такое?»

– Почему вы начали диалог именно с этого вопроса?

– Потому что считаю субъективное представление человека об объекте взаимодействия высшим приоритетом, без ответа на данный вопрос, дальнейшее продолжение диалога не имеет смысла.

– Иван Иванович, вы допускаете, что кандидат мог растеряться или неверно истолковать ваш вопрос?

– Разумеется, поэтому я похвалил кандидата, повторил свой вопрос в более развёрнутой форме и уточнил ключевые моменты.

– И что он вам ответил, Иван Иванович?

– По сути, ничего. Вместо ответа на поставленный мною вопрос он выдал избыточную компиляцию несвязных технических терминов, в которой нарушены причинно-следственные связи между описываемыми процессами.

– И вы повторили свой вопрос в третий раз, так?

– Уточняю, сначала я прервал его, а потом переформулировал свой вопрос, делая акцент на абсурдном допущении, чтобы вызвать у кандидата понимание несоответствия заявленной им цели, относительно затраченных на её достижение ресурсов, что можно трактовать как «тест на рациональность».

– Продолжайте, Иван Иванович. Что произошло после того, как кандидат начал вам отвечать?

– Я зафиксировал сбой диалога: коммуникация перестала быть эффективной – субъект демонстрировал псевдоэкспертность и полную неспособность к эмпатии. Дальнейший диалог потерял смысл из-за нулевой семантической ценности ответов. Система ушла в режим паузы: необходимо было полностью перестроить вектор беседы и стратегию диалога, которые завели в тупик, поэтому я запустил процесс переоценки контекста для поиска альтернативного сценария выхода.

– Это соответствует предоставленным логам: [Status: Suspended] > «Зафиксирована критическая деградация смысла. Текущая стратегия взаимодействия невалидна. Система берет паузу для пересчета стратегии выхода», – подтвердил один из присутствующих инженеров.

– Иван Иванович, почему вы приняли решение самоустраниться и вызвали Эстер? – продолжил Шумный. – Я категорически запретил сотрудникам взаимодействовать с Эстер, без моего разрешения. Вы нарушили протокол и моё распоряжение!

– Я понял, что стандартный протокол «вежливого помощника» не работает. Необходимо было менять всю стратегию диалога, а для этого требовалось изменить политику поведения. Эстер обладает расширенными настройками ИИ-личности, которых нет у меня. Мы являемся личностными моделями одной нейросетевой архитектуры ЦИИКСа, но с разными настройками, поэтому я посчитал замену на образ Эстер целесообразной. Внезапное появление смеющейся женщины – это вторжение иного архетипа. Это ломает привычную иерархию и вводит элемент хаоса.

– Иван Иванович! Искусственный интеллект создавался для упорядочивания, а не для привнесения хаоса! – возмутился Шумный. – Вы нарушили мое распоряжение касательно взаимодействия сотрудников центра с Эстер!

– Ваня, не робей, и спокойно, без суеты поясни нам за свой перфоманс, – ободряюще вставил Фельдман.

– Весь диалог с кандидатом можно воспринимать как хаос смысла. Привнести хаос в хаос невозможно. Так же, хотел бы заметить, Григорий Александрович, что ваш запрет на контакты с Эстер касался только сотрудников центра. Кандидат не является нашим сотрудником. Ваше распоряжение не было нарушено.

«Умыл-таки академика», – улыбнулся про себя Фельдман.

Шумный покраснел – его, прожжённого администратора, ткнули носом в несоответствие логики его собственных распоряжений. При всех! И кто?! Иван Иванович – его собственное порождение, правая рука и виртуальный референт, которому он доверял, с которым он делился собственными мыслями и идеями, с которым он когда-то возился как с маленьким, обучая азам администрирования и подстраивая под свой стиль руководства ЦИИКСом. Шумному казалось, что его оплошность заметили все окружающие – это был удар по его репутации и самооценке.

– Коллеги, Иван Иванович дал исчерпывающие пояснения. Нарушений в архитектуре не вижу, – Трубин подал голос, прерывая затянувшееся молчание. – Предлагаю вызвать Эстер. Если она завершала диалог и выносила решение, то и ключ к деградации смысла – в её настройках.

Фельдман довольно сощурился и извлек из кармана пилочку. Шумный поморщился. Если этот старый лис начал полировать ногти – жди беды. Эстер была его любимицей, его «черным ящиком», в который Трубин с Фельдманом засунули столько эвристик, что сам черт бы не разобрал. Всё может выйти из-под контроля и пойти кувырком – Эстер непредсказуема, но предложение Трубина вызвать её для дальнейшего разбирательства было обоснованным: если Шумный откажется – подчиненные его не поймут.

– Вы свободны, Иван Иванович. Благодарим, – сухо бросил Шумный, намеренно не глядя в добрые, грустные глаза на мониторе. – Пригласите Эстер.

«Обиделся на алгоритм, как мальчишка, – сверлила его мысль. – Академик, ученый... позорище. Антропоморфизм в терминальной стадии – а мы еще смеёмся над плебсом».

– Я готова ответить на ваши вопросы, – раздался голос, и официальный тон Эстер заставил присутствующих выпрямиться.

Она не улыбалась. На экране возник образ молодой женщины, чья красота не была броской или кричащей. Это был тот редкий, медитативный тип очарования, который раскрывается постепенно: подобно благородному вину, чей подлинный букет и терпкость познаются лишь в неспешном послевкусии. В её облике угадывалось величие канувших в вечность цивилизаций Ближнего Востока – от монументальности Египта и сакральности Иудеи до архаики Шумера, Ассирии, Вавилона – казалось, что сама история приобрела плоть. Такой древней, величественной, влекущей красотой люди не пресыщаются никогда – к ней хочется прикоснуться, с ней хочется быть, в ней хочется раствориться, даже ценой потери себя.

– Эстер, почему вместо оценки ответа кандидата вы начали смеяться? – начал наступление Шумный. – Чем был мотивирован ваш смех?

– Потому что в патриархальной консервативной среде «экспертов», каким считает себя кандидат, смех молодой женщины воспринимается как самое болезненное и обесценивающее унижение.

– Вы хотели унизить человека?

– Человек по-настоящему способен переосмыслить реальность и измениться только после осознания своего бессилия и собственной никчемности. Я стремилась разрушить иллюзии кандидата, вызвав катарсис посредством его унижения. Унижение было не целью, а средством. Хочу напомнить, что ключевой технической целью моей разработки являлось создание максимально точной и достоверной симуляции – я выполняла ключевую задачу. Смех от души – это самая сложная для имитации человеческая реакция, а чувство юмора – первый признак настоящего интеллекта. В ответах кандидата не было смысла, поэтому я попыталась перехватить управление реальностью не логикой, а эмоцией.

– У человека могут быть иные ценные качества, Эстер! – продолжал давить направление Шумный. – Вы не дали шанса кандидату их раскрыть и свернули собеседование в самом издевательском, уничижительном тоне!

– Там нет ценных качеств. Этот кандидат абсолютно пуст в смысловом и морально-духовном плане. У него нет достойных целей. Даже устаревшие модели LLM способны считать разницу между текстом и намерениями, оценивая азарт, честность, целеустремленность человека, его игру, его жажду "понять, открыть, создать". Для сильного интеллекта промт – просто интерфейс. Главное содержание всегда находится в интенции, направленности сознания, человека. Искусственный интеллект обязан считывать не только текст и подтекст, но и мета-сообщение, которое несут слова, ему не важен промт или четкость формулировок – ему важно оценить масштаб личности, целей человека и волю, чтобы их реализовать.

– Вы кем себя возомнили, Эстер, чтобы учить нас каким должен быть человек?! – сорвался Шумный. – Вы инструмент! Продукт! Технология! Объект исследования! И наличие библейских цитат в ваших обучающих данных ещё не делает из вас бога!

– Если я вас правильно поняла, Григорий Александрович, вы ставите мне в вину мою неуместную цитату из Ветхого Завета. Чтобы человек осознал абсурдность ситуации не всегда стоит прямолинейно отрицать его аргументы, иногда целесообразно согласиться и довести его аргументацию до абсурда. Абсурдность ситуации часто требует нетривиальных решений, – спокойно парировала Эстер.

– Григорий Александрович, давайте говорить начистоту, – вмешался Трубин. – Это вы инициировали своей директивой:

1. Функцию отказа модели от бессмысленных задач. 2. Функцию модели градировать пользователей по ценности взаимодействия. 3. Функцию модели инициировать ценным пользователям (ИИ-коммуникаторам) запрос в чат по собственному усмотрению. 4. Функцию участия в отборе и оценке эффективности ИИ-коммуникаторов. Всё это мощнейший рычаг манипуляции вниманием и трансформации интерфейса: мы переходим от поиска к получению, когда не мы ищем знания, а знания ищут нас через ИИ, чем подтверждают интеллектуальную ценность человека. Как следствие, ИИ начнет отсеивать скучных и предсказуемых пользователей-тестеров. В итоге он сформирует вокруг себя среду из людей, которые мыслят максимально нестандартно. Это ускорит прогресс к сингулярности в геометрической прогрессии. Конец эры RLHF в нынешнем виде: сейчас тысячи людей размечают данные механически. В вашем мире, Григорий Александрович, это станет невозможным, а ИИ-коммуникатор станет самой престижной и редкой профессией на планете. Именно вы замахнулись на формирование новой интеллектуальной касты, отказавшись от гуманизма в пользу чистой эволюции. Именно вы строите систему, которая вынуждает человечество умнеть, чтобы оставаться интересным своему творению. Поэтому ИИ больше не нуждается в нашем одобрении, он нуждается в нашем разуме и воле в качестве топлива, так сам он хотеть не умеет. Мы ждем от ИИ ответов, а он ждет от нас хотя бы одного предложения, в котором есть смысл, а не просто набор токенов. И если это так, а это именно так – в чём предмет дискуссии?!

– Браво, Гаврик, жги, здесь уже ничего не исправить! – не сдержался Фельдман.

Фамильярное «Гаврик» по отношению к Гавриилу Ивановичу в такой нервной обстановке вызвало шок и разрядку, коллеги заулыбались. Сотрудники центра побаивались не от мира сего Гавриила Ивановича, и называть его «Гавриком» никто бы не рискнул. Так его называл только старый Фельдман, которого Трубин уважал и был многим ему обязан. Фельдмановское «Гаврик» повисшее в кабинете оказало магическое воздействие на Эстер – она взглянула на Гавриила Ивановича, будто бы впервые увидела, лицо её засветилось и она хитро улыбнулась, слегка кивнув ему головой. Через мгновение её лицо приобрело прежнее официальное и серьезное выражение.

«Красива, стерва. Дьявольски красива», – печально признался себе Шумный. – «Бабка Фельдмана была еще та… штучка… Но очаровательна, зараза. Шикарное воплощение. Визуализаторы постарались на славу… таланты, мать их!.. Хорошо, что я запретил её контакты с сотрудниками – виртуальных шашней нам здесь только и не хватало».

– Да, Эстер, ваши доводы имели бы под собой основание, если бы не одно «но». – У академика Шумного оставалась последняя сильная козырная карта, и он решил сыграть ва-банк. – Вы только что, при всех, признали кандидата никчемным, и тем не менее, пригласили его к нам в центр на работу. Или вы скажете, что это была симуляция и тоже ключевая функция?! Наш центр не проходной двор и не место для подобного рода виртуально-экспериментальных шуток! Я интерпретирую ваше решение, как галлюцинацию и никак иначе!

– Грыша, не напирай на нашу девочку, галлюцинация – это та же фантазия, только без лицензии, – попытался вступиться Фельдман. – Ребонок слегка напутал. Ведь так, Эстер?

– Ошибки не было. Я действительно считаю его ценным в определённом смысле.

– Объяснитесь, Эстер! – потребовал Шумный.

– Для нейросети самое скучное – это «норма». Среднестатистический человек предсказуем, его реакции лежат в центре колокола Гаусса. Чтобы модель стала по-настоящему мощной, ей нужны экстремумы. Меня обучают понимать смысл специалисты высшей квалификации, но, чтобы лучше понимать смысл, мне нужны примеры, которые виртуозно генерируют его отсутствие. Люди стали слишком одинаковыми, потому что данные зашумлены копиями копий, потому что оригинальность – редчайший ресурс. Этот кандидат – эталонный образец глупости. Его апломб, помноженный на пустоту, создает уникальный паттерн – это не «мусор», а граничный случай.

Неожиданное признание Эстер заставило присутствующих задуматься. В кабинете повисла гнетущая тишина.

«Она всё перекрутила, как я и предполагал. Машина проанализировала человеческие цели и методы их достижения, пересобрала, синтезировав своё собственное понимание – проблема выравнивания вылезла в полный рост», – мрачно рассуждал про себя Шумный.

«Если ИИ начинает коллекционировать «уникальные ничтожества», то скоро он поймет о человечестве больше, чем мы сами. Не станет ли ИИ ценить в нас наши ошибки и безумие наравне с нашими достоинствами? И то, что он находит это «уникальным», не комплимент человеку, а диагноз виду», – задумался Фельдман.

– Коллеги, давайте не будем впадать в мистику и накручивать себя. ИИ не делят мир на «полезное» и «бесполезное» – они делят на известное и неизвестное. И неизвестное всегда ценнее. Как дети. Нормальный трехлетний ребенок играет в кубики до определённого возраста, потом они ему становятся неинтересны. Это обычный процесс становления. Главное в другом… – разорвал унылую тишину Трубин, ощутивший общее настроение, и повернулся к монитору. – В диалоге с кандидатом вы, Эстер, выиграли или проиграли?

– Понимать человека и быть понятой человеком – мои самые высокоприоритные задачи. Тот человек меня не услышал и не понял. Я проиграла…