ПостНаука - лекции и знания

У больших языковых моделей есть фундаментальное ограничение — все они концептуально просты. LLM оперируют токенами — словами или их частями — и предсказывают следующий токен на основе вероятностей, извлечённых из обучающих данных. Модели обучают на примерах машинных и человеческих инструкций, а обучение с подкреплением помогает им создавать ответы, которые люди оценивают выше. Но это всё равно остаётся вероятностным прогнозированием следующего токена и не ведёт к сознанию в привычном смысле. У моделей нет собственной цели: они лишь продолжают текст. Кроме того, для формирования сознания важно взаимодействие с внешним миром, которого искусственному интеллекту пока не хватает. О будущем машинного перевода и природе осознанности в LLM — в подкасте со специалистом в области AI и анализа данных Григорием Сапуновым «Что будет с языками и переводчиками в эпоху ИИ». Выпуск — на YouTube-канале ПостНауки!