🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🔄 Российские математики удешевили работу ИИ в 20 раз
Стартап Mostik AI разработал способ передавать информацию между нейросетями напрямую через внутренние состояния моделей, а не через текст. Это позволяет использовать мощности большой модели для «обдумывания» задачи, а сам ответ генерировать дешевой маленькой нейросетью.
⚙️ CEO Mostik AI Саша Малышева рассказала @hiaimedia, как это работает:
Связки из нескольких нейросетей используются в ИИ-агентах и позволяют распределять работу между моделями с разными возможностями и стоимостью. Например, одна планирует действия, а другая их выполняет. Но информацию друг другу они все равно передают текстом — одна модель генерирует ответ, следующая его читает.
При обработке каждого токена модель строит числовые векторы, которые формируют скрытое состояние. Оно содержит контекст, понимание задачи моделью и каким может быть ответ.
По оценке Mostik, обработка одного токена порождает около миллиона числовых значений — примерно 2 МБ данных. Наружу при этом выходит всего один выбранный токен — около 17 бит. «Системы, созданные для мышления в тысячах измерений, фактически разговаривают друг с другом через замочную скважину», — пишут разработчики.
Mostik строит, собственно, нейросетевой мостик, который переводит внутреннее состояние одной модели в представление, понятное другой. Малышева объясняет это на примере студента, который просит объяснить дифференциальные уравнения перед экзаменом:
«Большая модель придумывает удачную аналогию, чтобы студенту точно запомнилось, и передает эти "мысли" модели поменьше, которая, в свою очередь, выписывает решение и разворачивает аналогию.
Вторая пользуется тем, что первая уже проделала, вместо того чтобы придумывать самой и получить результат хуже по определению (потому что модель менее способная)».
Для демонстрации исследователи соединили GLM-5.2 на 753 млрд параметров, для запуска которой нужно до 1,5 ТБ памяти, с Qwen-3.5 на 4 млрд, достаточно компактной для смартфона. По словам Малышевой, связка выдала в среднем 80% качества большой модели примерно за 1/20 стоимости вычислений.
💡 Зачем это вообще нужно?
С «мостиком» разработчики ИИ-сервисов смогут использовать большие модели только там, где без них не обойтись, а остальную работу передавать дешевым компактным моделям. Пользователь получит более качественные ответы за меньшие деньги без необходимости постоянно думать, с какой моделью он общается.
🎓 Команда мечты
Команду Mostik собрали за четыре месяца. Сейчас стартап базируется в Калифорнии, в нем работают 15 человек, 12 из них с PhD. Первыми сотрудниками стали однокурсники Малышевой по петербургской Вышке — вместе они делают проекты уже больше 12 лет. Остальных искали через друзей, подбирая каждого под конкретный участок задач.
Главный научный сотрудник проекта — математик Станислав Смирнов, профессор Женевского университета и лауреат Филдсовской премии 2010 года. По его словам, одна из ключевых задач — найти общий математический язык, который позволит разным моделям понимать друг друга.
Он не исключает, что в будущем это может помочь выявить сходства в том, как нейросети и люди рассуждают о сложных задачах.
👋 Подпишитесь на Hi, AI!