🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
TypeSafe AI, лаборатория соавтора InstructGPT из OpenAI, выпустила Jev: модель, которая не пишет текст. Она отвечает только на типизированные вопросы: выбрать вариант из списка, поставить оценку по шкале или сказать «да» либо «нет», и к каждому ответу прикладывает вероятности.
В запрос кладёшь произвольный текст (письмо клиента, JSON с состоянием приложения) и словарь вопросов на обычном английском: «какая команда должна этим заняться» с вариантами billing, technical, sales; «насколько клиент раздражён» по трём уровням; «есть ли срочность». Все вопросы модель считает параллельно за один вызов и возвращает technical с вероятностью 0,84 и уверенностью 0,6. Дальше решает твой код: при высокой уверенности маршрутизировать автоматически, при низкой отдать человеку. Промпт «ответь одним словом» и парсер поверх ответа не нужны, ответ вне списка невозможен в принципе по устройству модели.
Ответ приходит за 70–500 мс, миллион входных токенов стоит $0,042, выход бесплатный. По замерам самих TypeSafe это в 40–200 раз быстрее и на два порядка дешевле GPT-6 Astra и Fable 5.1 на таких задачах. Руководитель evals в Every прогнал через Jev 37 своих статей с 21 вопросом про признаки ИИ-текста: 777 вердиктов за 0,7 секунды и четверть цента. В его же тесте на дефекты в тексте Jev нашёл 6 из 7, Fable 5.1 все 7, но в 25 раз медленнее и в 580 раз дороже.
Объяснить выбор или написать ответ клиенту Jev не умеет, для этого рядом нужна обычная LLM. Вариантов в одном выборе до 255. Доступ по листу ожидания, SDK для Python и JS уже лежат на GitHub.
@neuro_channel