🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
👌 Huawei представила комплексное решение AI Data Lake для оптимизации хранения и обработки данных
Это должно способствовать более широкому внедрению искусственного интеллекта в различных отраслях.
Платформа ориентирована на задачи, связанные с обучением больших языковых моделей (LLM), проведением логических выводов и другими ресурсоемкими операциями.
💡 Аппаратная часть AI Data Lake включает в себя три типа систем хранения данных (СХД) Huawei OceanStor: серия A для быстрого доступа к информации, серия Pacific для хранения данных Nearline с динамическим распределением по уровням, и OceanProtect для резервного копирования данных из системы Pacific.
Модель OceanProtect E8000, например, способна вместить до 16 петабайт данных и обеспечивать пропускную способность до 255 терабайт в час.
💡 Программное обеспечение AI Data Lake состоит из двух уровней: уровня управления данными и уровня инструментов ИИ.
✅ Уровень управления построен на базе движка Data Management Engine (DME) и включает в себя такие продукты, как DME Omni-Dataverse, DME IQ и eDataInsight.
✅ Они отвечают за управление векторными базами данных, каталогом данных, версиями, контролем доступа и другими функциями.
💡 Omni-Dataverse представляет собой глобальную файловую систему и фреймворк управления данными, предназначенные для устранения фрагментации данных в географически распределенных центрах обработки данных (ЦОД) путем создания единого пространства имен.
Это создает виртуальный репозиторий (озеро данных), охватывающий несколько отдельных хранилищ, расположенных в публичном облаке, на территории клиента или в гибридной среде.
❗️Omni-Dataverse обеспечивает сбор, индексацию, обработку данных и их предоставление для обучения LLM, инференса и других задач.
По данным Huawei, система способна индексировать и извлекать наборы данных масштаба экзабайт.
Система может обрабатывать более 100 миллиардов файлов за считанные секунды, используя более 15 критериев поиска.
💡 DME IQ — облачная система, использующая аналитику больших данных и AIOps для автоматического оповещения о проблемах и отслеживания сбоев в режиме реального времени.
Уровень инструментов ИИ предназначен для предоставления наборов данных из хранилища для обработки различными аппаратными движками.
@sip_ai | @sip_ai_bot