Berloga - науки и технологии

🌌 ИИ, который читает статьи за вас В npj Computational Materials вышла статья: Agent-based multimodal information extraction for nanomaterials На повестке — автоматизация научного чтения. Не в смысле «реферат за 3 секунды», а в смысле: вытащить формулы, каталитические параметры, и кристаллические системы из PDF так, как это делает химик с блокнотом и часом свободного времени. Только здесь — без блокнота и без химика. 🧠 Что внутри nanoMINER Система мультиагентная: — Main-агент (GPT-4o) управляет процессом, — NER-агенты (Mistral-7B, Llama-3-8B) достают параметры из текста, — Vision-агент (YOLOv8 + GPT-4o) разбирает графики и неформатные таблицы. Агенты работают на основе ReAct подхода: синхронизируются, уточняют друг у друга информацию, и выдают единый JSON на выходе. 📊 Зачем всё это? Чтобы снимать экспериментальные параметры (в том числе по нанозимам) из текста, даже если они: • только в подписях к графикам, • разбросаны по разным разделам, • не указаны явно (например, crystal system — система угадывает её по формуле с точностью 86%). 💥 Результаты впечатляют: • precision до 0.98 на параметрах активности нанозимов, • recall до 0.86 на наноматериалах, • F1 score выше, чем у GPT-4.1, o3-mini и o4-mini. (просто скармливали PDF без координации — и всё сломалось) 📎 А зачем человеку? Это шаг к полноценным машиночитаемым статьям, где вместо ручной разметки — автоматическое заполнение баз знаний. Подход масштабируется на медицину, биохимию, фарму и любые области, где не хочется руками копировать цифры из графиков. 📂 Код: github.com/ai-chem/nanoMINER 🔮 Моделька предсказала crystal system по формуле — просто так Это не feature, это баг… или всё-таки emergent reasoning? 😉 В статье пишут, что система предсказывает тип кристаллической решётки, даже если она не указана, с 86% точностью. Возможно, это эффект обучения на корпусах, где такие ассоциации частотны. Но в любом случае — повод переосмыслить, насколько хорошо LLM умеют химическую интуицию. ПС А также подписывайтесь на канал автора статьи Карины Романовой - Ссылка скрыта