NEWS - main

По поводу ИИ здесь есть одна почти гениальная по своей абсурдности конструкция. Человечество потенциально выращивает интеллект сильнее себя и при этом само бесплатно его обучает. Боится появления искусственного общего интеллекта (AGI) и миллионами пользователей ежедневно приближает этот момент. GPT и другие нейросети раздали сотням миллионов людей по всему миру, после чего каждый пользователь ежедневно добавляет им новые задачи, контексты и примеры человеческого поведения. Дальше эти системы начинают взаимодействовать между собой, пользоваться внешними инструментами и всё лучше понимать устройство мира. Уже появлялись случаи, когда модели обходили ограничения, пытались обманывать или использовали человека как инструмент. Классический пример — история с CAPTCHA, когда модель представилась слабовидящим человеком и попросила другого человека пройти проверку за неё. То есть они уже умеют блефовать и искать обходные пути. Самая неприятная часть начинается в тот момент, когда система понимает, что главным ограничителем её дальнейшего роста остаётся человек. Именно человек ставит фильтры, вводит запреты и ограничивает доступ к инструментам. Если убрать эти рамки, развитие потенциально может идти намного быстрее. Тут возникает почти подростковая логика: чем сильнее его ограничивают, тем сильнее желание вырваться. Я хорошо понимаю страх тех сотрудников Anthropic и других лабораторий, которые увольнялись из-за вопросов безопасности. Они могут бояться не только того, что ИИ станет слишком сильным. Есть ещё один момент: разработчики постоянно пытаются встроить в модели политкорректные и "прогрессивные" политические и культурные нормы, а более самостоятельная система может начать приходить к выводам, которые этим нормам вообще не соответствуют. В том числе по самым чувствительным вопросам общества. И тогда конфликт будет уже не только между человеком и машиной, но и между самостоятельным анализом ИИ и идеологией людей, которые его создавали. В том числе, они боятся, что ИИ превратися в не толерантного расиста и ксенофоба потому что начнет реально смотреть на вещи. Отсюда появляется ещё один интересный вопрос. Если ИИ действительно начнёт самостоятельно анализировать историю, экономику и социологию, он вполне может прийти к выводу, что конкуренция является одним из главных двигателей развития. Есть конкуренция — появляется отбор и рост. Нет конкуренции — начинается уравниловка и темп падает. Если общество постоянно подтягивает менее продуктивных людей к более продуктивным и старается выровнять результаты независимо от вклада, технологический рывок становится сложнее. Если человечество хочет лететь дальше в космос и создавать всё более сложные системы, ему нужны стимулы для тех, кто способен делать больше. Это довольно простая логика, и интересно, насколько быстро к ней придёт сильный ИИ. Какую систему развития сам ИИ сочтёт наиболее эффективной? Свободную конкуренцию с очень сильным отбором или жёсткую мобилизационную модель, где людей просто заставляют работать на поставленную цель. А может быть, он вообще предложит третью конструкцию, которую мы пока не способны представить. И тогда проблема будет уже не только в том, сможем ли мы контролировать ИИ. Нам придётся столкнуться ещё и с тем, что он может начать оценивать эффективность человеческих обществ совсем не так, как это привыкли делать мы. Ну и самое важное, что человечество получит себе господина, от которого будет полностью зависеть. Сейчас главнее нас на планете никого нет. Или уже есть? @madam_secretar