🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🚀 Tencent показали Hy4-preview - новую open-source модель на 770B параметров
Архитектура MoE:
- 770B параметров всего
- 49B активны на токен
- контекст до 1 млн токенов
- упор на coding, agentic-задачи и продуктивность
Использует Gated DeepSeek Sparse Attention + IndexCache, чтобы удешевить длинный контекст и переиспользовать sparse-индексы между слоями.
Tencent позиционирует Hy4 как frontier-level open model с доступной стоимостью запуска.
Apache 2.0
🟡 Блог: Ссылка скрыта
🟡Hugging Face:
Ссылка скрыта
🟡GitHub: Ссылка скрыта
@ai_machinelearning_big_data
#Tencent