🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🚀 Tencent unveils Hy4-preview - a new open-source model with 770B parameters
MoE architecture:
- 770B parameters total
- 49B active per token
- context up to 1M tokens
- focus on coding, agentic tasks, and productivity
Uses Gated DeepSeek Sparse Attention + IndexCache to reduce the cost of long context and reuse sparse indices across layers.
Tencent positions Hy4 as a frontier-level open model with an affordable inference cost.
Apache 2.0
🟡 Blog: Ссылка скрыта
🟡 Hugging Face: Ссылка скрыта
🟡 GitHub: Ссылка скрыта
#Tencent
