🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
✅ Trafilatura — Python-библиотека и CLI-инструмент для парсинга и очистки текста с веб-страниц
📱 Python 3.6+
📌 Что делает:
🟢 Извлекает только основной текст статьи, игнорируя рекламу, меню и футеры
🟢 Автоматически определяет метаданные: автора, дату публикации, категорию и заголовки
🟢 Умеет конвертировать очищенный текст в форматы TXT, CSV, JSON, XML и Markdown
🟢 Скачивает веб-страницы без использования тяжелых браузеров (Selenium/Playwright)
🟢 Распознает язык текста и кодировку "из коробки"
📌 Фичи:
— Идеально подходит для сбора датасетов под обучение нейросетей (LLM) и создания баз знаний.
— Работает значительно быстрее аналогов (вроде Newspaper3k) и точнее вырезает "мусор".
— Можно использовать как готовую утилиту в терминале без написания кода на Python.
🔗 Репозиторий GitHub ([Ссылка скрыта