MetadataParser — это модуль Python для извлечения метаданных из веб-документов.
MetadataParser — это модуль Python для извлечения метаданных из веб-документов. Для парсинга требуется BeautifulSoup. Для получения удаленных документов требуется Requests. Для парсинга доменов используется tldextract, но его можно отключить, задав переменную среды. Этот проект используется в продакшене уже много лет и успешно обработал миллиарды документов. Github Community
4 просмотров