MetadataParser — это модуль Python для извлечения метаданных из веб-документов.
MetadataParser — это модуль Python для извлечения метаданных из веб-документов. Для парсинга требуется BeautifulSoup. Для получения удаленных документов требуется Requests. Для парсинга доменов используется tldextract, но его можно отключить, задав переменную среды. Этот проект используется в продакшене уже много лет и успешно обработал миллиарды документов. https://github.com/jvanasco/metadata_parser
1 139 просмотров
Канал в каталоге Максиметера
1 023 подписчиков · IT и технологии