🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
⚡️ Яндекс открыл модель, на которой работают быстрые ответы в Поиске
Яндекс выложил на Hugging Face Alice AI-T5-35B-A0.6B Base — модель, которую обучили с нуля специально для высоконагруженного Поиска. Её дообученная версия Alice AI Search используется для генерации быстрых ИИ-ответов в Поиске.
При сотнях тысяч запросов в минуту такая модель должна не только хорошо отвечать, но и делать это за считанные секунды, не сжигая лишнее. Поэтому из 35 млрд параметров на каждый токен включаются только 600 млн, а отдельная модель отбирает из найденных документов лишь нужные фрагменты — такой подход увеличил пропускную способность примерно на 40%.
В итоге модель показывает сильные результаты на русскоязычных задачах и сопоставима с гораздо более тяжёлыми моделями, оставаясь дешевле в работе.
@ai_machinelearning_big_data
#news #ai #ml