🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
👍 Люди не могут объективно оценивать ИИ-модели, показал эксперимент.
Ученые разделили 162 добровольцев на три группы и предложили им решить задачи с помощью нейросетей. Одни думали, что получили слабые модели (GPT-3.5/4 или Claude Haiku 3), но на деле общались с флагманами (GPT-5, Sonnet 4), другие — наоборот, а третья, «контрольная», получала честный ярлык.
У тех, кто думал, что общается с более мощной моделью с самого начала были и более высокие ожидания от нее, и разочарование после работы. И наоборот — те, кто думал, что общается со слабой моделью, были удивлены «смышленностью» ИИ в работе.
⚡️ При этом изменение мнения после использования вообще не зависело от качества результата — важно было только насколько оправдались ожидания и стал ли человек увереннее в себе после работы с ИИ.
«Пользователи оценивают питч, а не продукт», — резюмируют (Ссылка скрыта исследователи.