🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Бывший исследователь OpenAI представил новую модель, которая работает до 200 РАЗ быстрее обычных LLM 😨
TypeSafe AI показали Jev — модель нового класса System One Models, заточенную под быстрое принятие решений. Главное:
🟢 Ее особенность в том, что она не генерирует ответ токен за токеном, а выдаёт структурированный результат с вероятностями. Так что ее, например, идеально использовать для классификации, скоринга и маршрутизации, а вот генерация текста не ее конек.
🟢 Так, Jev заставили играть в DOOM: модель получала данные о происходящем и могла принимать около 10 решений в секунду — то есть реагировала мгновенно. Вся эта демонстрация обошлась примерно… в $7 в час.
🟢 Самые главные цифры, присядьте: в отдельных сценариях Jev работает до 200 раз быстрее и 450 раз дешевле альтернатив. Вход стоит всего $0,042 за миллион токенов, а выход будет бесплатным!
🟢 И ещё одна фишка: Jev не может выдать ответ вне заранее заданного формата, то есть галлюцинаций не будет. Но выбрать неправильный вариант она, правда, все еще может.
DeepSeek момент? 🧐
@xor_journal