Aprendizaje automático - ML y Ciencia de los Datos

🌟 LimiX-2: базовая модель для табличных данных Stable AI выложила веса LimiX-2, второго поколения своей линейки моделей для структурированных данных. До этого были LimiX-16M и облегчённая LimiX-2M. Разработчик - китайская компания, основанная в 2024 году командой профессора Цуй Пэна с факультета информатики Университета Цинхуа. LimiX у компании единственный продукт, его продают промышленности, медицине и финансам. Модель проверяли более чем в двадцати отраслях и сотне сценариев. Модель на 400 млн параметров закрывает классификацию, регрессию и заполнение пропусков за один прямой проход. На вход подаётся таблица с известными ответами и строки, для которых ответ нужен, и модель отвечает, опираясь на поданные примеры. На выходе - вероятности классов, предсказания в исходной шкале цели либо восстановленная матрица признаков. LimiX-2 построена по уникальной парадигме Contextual Mechanism Network. Обучение в контексте здесь перестроено - вместо предсказания одной целевой колонки по остальным модель оценивает совместное распределение всех признаков и цели, то есть описывает механизм, породивший таблицу целиком. Отсюда второе её свойство: внимание по признакам фиксирует, какие столбцы напрямую влияют друг на друга, и по этим весам восстанавливается скелет причинного графа - набор связей без указания направлений. 🟡Бенчмарки LimiX-2 шла в базовой конфигурации. Elo здесь - рейтинг по парным сравнениям на наборах теста, где случайный лес принят за 1000. TabArena: Elo 1935 против 1818 у TabFM+. На подмножестве классификации (38 наборов) доля побед 94,5%, на регрессии (13 наборов) - 96,9%. TALENT: Elo 1506 против 1471 у TabFM, 1438 у AutoGluon 1.6 и 1094 у CatBoost. BCCO (собственный бенч Stable AI): Elo 1432 против 1376 у AutoGluon 1.6, 1230 у прошлой LimiX-16M и 1140 у CatBoost. 📌Лицензирование: исследования, обучение, замеры и некоммерческие соревнования - бесплатно, всё остальное - только по отдельному договору со Stable AI. 🟡Страница проекта 🟡Веса 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LDM #StructuredData #LimiX #StableAi