🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Тернарная нейронка на C#
Полноценная языковая модель со всеми положенными слоями, включая токенизатор и механизм внимания, умещается в 17,1 килобайта на диске. Автор доходит до этого размера, обучая архитектуру Llama на C# и переводя веса в триты, то есть в значения, которые могут быть только минус одним, нулём или плюс одним.
Есть и более крупная версия, 28,9 килобайта, которая обучается увереннее и отвечает осмысленнее. Самая же экстремальная, где параметров меньше пятидесяти тысяч, всё равно ухитряется что-то говорить в чате, просто хуже.
Разберёмся, как обучение вообще довело эти тритовые нейроны до рабочего состояния.