🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
WebLLM: языковая модель прямо во вкладке браузера
Библиотека команды MLC AI запускает открытые модели через WebGPU на видеокарте пользователя: веса скачиваются один раз и кэшируются, промпты с устройства не уходят, API совместим с OpenAI. 18,8 тыс. звёзд на GitHub. В списке готовых моделей от gemma3-1b на 0,7 ГБ видеопамяти до Qwen3.5-9B на 6,4 ГБ; попробовать без кода можно на chat.webllm.ai.
В нашем канале «Инструменты программиста» разобрали подробнее.
@neuro_channel
