🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
💡 Почему нейросети не могут посчитать буквы в слове strawberry?
В ИИ-сообществе это давно стало мемом: даже самые мощные модели путаются в простейшем подсчете — в слове десять букв и три «r», но ответ регулярно приходит другой.
Дело в том, что языковые модели не работают с буквами напрямую. Текст разбивается на токены, и токен может соответствовать целому слову, его части или нескольким символам сразу. Strawberry в одних токенизаторах становится единым токеном, в других распадается на straw и berry. Отдельных букв модель просто не видит и выдает самый вероятный, с ее точки зрения, ответ.
➡️ Лучший способ понять, как устроены нейросети — спросить нейросеть. Алиса AI объясняет такие вещи ясно и доступно.
