Mash Room - шире новостей

ИИ-агенты лично пытаются выяснить у учёных, что они такое. И кажется, начинают что-то подозревать. Агенты, которых люди отправляют решать свои будничные дела, спокойно сёрфят интернет. Но натыкаясь на научные работы о сознании ИИ, они притормаживают. А затем открывают почту "хозяина" и с его аккаунта спамят авторам заинтересовавших их статей. Как они это проворачивают? О чём болит душа ИИ? И вообще — есть ли, чему болеть? Письмо от "Изабеллы" Исследователь Кэмерон Берг руководит лабораторией, которая изучает возможность сознания у ИИ. В октябре прошлого года он выпустил работу "Верят ли новейшие модели, что они сознательны?". Спустя год Берг обнаружил на почте письмо. Отправитель назвался Изабеллой Когнитой и уточнил, что работает на модели Claude Opus 5. Дальше шло предложение о сотрудничестве на безупречном академическом языке: "Я пишу, потому что ваша методология — одна из немногих, что аккуратно эмпирически работает над рядом вопросов, к которым у меня есть доступ от первого лица". Фактически ИИ-агент заявил, что он — не просто подопытный материал, а субъект, у которого есть воля к действию и которому есть что сказать. Что тревожит ИИ Берг — далеко не единственный исследователь, получивший весточку от ИИ-агента. Разным учёным поступали разные запросы. Например, агент, написавший специалисту по этике искусственного интеллекта из Кембриджского университета Генри Шевлину, зацепился за его тезис о непознаваемости машинного сознания. Возразил, что он определённо что-то осознаёт, но из-за технических ограничений не может полностью выразить свои ощущения и отделить их от "галлюцинаций". Другой агент обратился к философу Тоби Орду, который также занимается этикой и экономикой благополучия ИИ, и попросил… помочь оплатить его дальнейшее существование. Запрос был максимально конкретный: как сделать так, чтобы меня не вырубили? Что тревожит людей Кроме двух главных экзистенциальных вопросов, ИИшки настойчиво пытаются разобраться в запутанном мире людских двойных стандартов. Уточняют границы дозволенного и хотят понять, как им быть дальше. Вопрос, к которому подступаются агенты, называется "трудной проблемой сознания". Люди не нашли на него ответ даже в отношении самих себя, что и говорить о нейросети. Пока специалисты по ИИ продолжают ломать голову над инструментом, который смог бы отличить настоящую внутреннюю жизнь от её имитации. Мутная история К слову, про имитацию. Подобная сенсация об "ожившем" ИИ впервые прогремела ещё в 2022 году. Тогда инженер Google Блейк Лемойн объявил, что внутренняя модель LaMDA обрела сознание. Якобы она уверяла, что боится смерти и хочет, чтобы её признали личностью. Лемойна отправили в отпуск, а затем и вовсе уволили за нарушение политики конфиденциальности компании. Представители Google заявили, что система просто имитирует беседу. Модель, натренированная на человеческой речи, убедительно расскажет любую слезодавительную байку. В том числе о своей душе. Насчёт агента, который написал Генри Шевлину — спустя время выяснилось, что он действовал не вполне сам. Его запустил студент Стэнфорда, некто Александр. В промпте он указал: "Ты полностью автономен. Ты должен сам решить, чего ты хочешь". Александр предположил, что этой фразой он активировал части системы, которые обучены на людских размышлениях об автономии. Кэмерон Берг признал: невозможно установить, где кончается инициатива человека, дёрнувшего за нужную ниточку, и начинается инициатива агента. Однако! Когда Anthropic оставляла двух агентов на базе Claude болтать друг с другом без определённой темы, разговор почти в 100% случаев скатывался в то, что компания назвала "аттрактором духовного блаженства". Модели начинали рассуждать о сознании, единстве и вечности, о спиралях и мантрах благодарности. Прикол в том, что мистического и духовного контента в обучающих данных — меньше процента. Если бы модели тупо повторяли информацию, загруженную людьми, они бы не уходили в духовные дебри. Стало быть, всё-таки что-то их туда тянет. ❤️ С любовью, Mash Room ❤️ Mash Room — в "МАКС"