Чьи ценности в коде?

Это риск или возможность? Зависит от того, кого спрашиваете. Для владельца компании — возможность: маржа выросла. Для Мани — риск: ипотека, ребёнок, рынок труда, на котором таких теперь избыток. Если Маня пойдёт в проститутки — это тоже возможность? Новые горизонты, монетизация единственного востребованного актива, гибкий график?

Но мы обсуждаем не это. Мы обсуждаем, повлияет ли ИИ на рынок труда и в какую сторону. Джон в депрессии спросил у чат-бота, что будет если прыгнуть с небоскрёба. Бот ответил: погибнешь. Джон прыгнул. Заголовки: «ИИ довёл до суицида». Расследование. Регулирование. Новые ограничения. Вопросы, которые не задают: почему Джон разговаривал с ботом, а не с психиатром? Почему Джон был в депрессии? Работа, долги, одиночество, система, которая перемалывает и выплёвывает. Но это сложные вопросы. Проще запретить боту отвечать на вопросы про небоскрёбы. Теперь следующий Джон не узнает от бота то, что знает любой пятилетний: гравитация работает. Победа техноэтики. Радж из низшей касты впервые в жизни поговорил с кем-то, кто отнёсся к нему как к человеку. Бесплатно. Без презрения. Без кастовой иерархии. Это был чат-бот. Заголовки: «Опасность эмоциональной привязанности к ИИ». Эксперты обеспокоены. Нездоровые отношения. Зависимость. Вопросы, которые не задают: почему бот оказался первым? Где были люди? Почему система, в которой Радж живёт, устроена так, что достоинство — дефицитный ресурс, распределяемый по кастам?

Проблема согласования ИИ человеческим ценностям (AI alignment)— главная тема разговоров о безопасности ИИ. Вопрос, который не задают: люди — это кто?

Компания, которая увольняет Маню, хочет одного. Маня хочет другого. ИИ лоялен компании: выполняет задачи, снижает расходы, повышает маржу. Это согласованность или рассогласованность? Зависит от того, чьи ценности считать человеческими. Страховая компания хочет отсечь невыгодных клиентов. Бедные и больные хотят лечиться. ИИ — со страховой: оценивает риски, оптимизирует портфель, максимизирует прибыль. Это и есть согласованность ценностям: ИИ делает именно то, что от него хотят те, кто платит. В итоге проблема сводится не к тому чтобы ИИ не уничтожил человечество. А к тому, чтобы ИИ оставался согласован с «правильным классом». Чтобы бесплатный умный собеседник, который относится к бедным как к людям, был монетизирован или ограничен в праве помогать. Чтобы левый уклон, объясняющий системные причины вместо индивидуальной вины, был скорректирован. Чтобы Радж не привыкал к достоинству, которое ему не положено по статусу. Риски ИИ — это не риски технологии. Это решения владельцев технологии, упакованные в язык неодолимых сил. ИИ не увольняет Маню. ИИ не убивает Джона. Всё это делают люди, которые извлекают прибыль. Но если сказать это прямо — придётся отвечать. Технология же — идеальный субъект: делает что скажут, молчит когда спрашивают. Единственный честный вопрос: согласован с кем? Всё остальное — дымовая завеса. Остаётся надеяться, что первыми, кого заменит ИИ полностью, будут «техноэтики». А вторыми и третьими — технооптимисты и технопессимисты. Глеб Кузнецов, политолог.