🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Рубрика "Утренняя статья"
WideSearch: Тестирование агентного широкого поиска информации
(WideSearch: Benchmarking Agentic Broad Info-Seeking)
cсылка
WideSearch — это новая тестовая платформа, разработанная ByteDance Seed для оценки надежности LLM-агентов в сборе обширной информации. Платформа использует 200 вручную отобранных вопросов (100 на английском и 100 на китайском) из более чем 15 сфер для обеспечения разнообразия и реалистичности запросов. Контроль качества реализован через пятиступенчатый процесс, включающий отбор вопросов, аннотирование, фильтрацию параметрических знаний, устранение слишком простых задач и итеративную проверку, а также автоматизированную оценку, сочетающую жёсткие правила и семантические проверки с помощью LLM.
Результаты тестирования показали, что большинство агентов успешно справляются менее чем с 5% заданий (максимум — 5%), что свидетельствует о серьёзных недостатках, таких как неполное разложение сложных запросов, отсутствие итеративной корректировки стратегии и «выдумывание» фактов при отсутствии релевантной информации.
Авторы исследования отмечают преимущество мультиагентного подхода, при котором коллективная работа агентов, напоминающая человеческое сотрудничество, заметно повышает эффективность выполнения комплексных задач. Будущие исследования будут направлены на разработку более продвинутых моделей с улучшенными возможностями планирования, саморефлексии и оптимизации мультиагентных систем.
#статья