🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Jev обещает отвечать до 200 раз быстрее обычных LLM 🤯
Бывший сотрудник OpenAI Диогу Алмейда вместе со стартапом TypeSafe AI представил Jev — модель, которая в отдельных задачах работает до 200 раз быстрее привычных LLM.
Она не собирает ответ по токену: сразу возвращает структурированный результат с вероятностями и выбирает самый вероятный вариант. Галлюцинаций, по заявлению разработчиков, не будет — хотя ошибаться Jev всё равно способна.
В DOOM модель принимала примерно 10 решений в секунду. Миллион входных токенов стоит $0,042, выходные — бесплатно; час игры обходился примерно в $7.
Jev уже открыли в раннем доступе. Похоже, токены наконец-то решили не задерживаться в очереди.
Экспертный канал