Когда встроенного краулера Bedrock мало: Crawl4AI перед базой знаний
Когда встроенного краулера Bedrock мало: Crawl4AI перед базой знаний Если подключили публичный сайт к Knowledge Base в Bedrock, а в ответах всплывает навигация вместо текста статьи — проблема не в промпте, а в том, что в индекс уехала вся страница. Встроенный краулер синхронизирует по расписанию, но шаблон сам не чистит. Перед загрузкой в bucket можно поставить Crawl4AI: обрезка boilerplate, опционально только нужный блок по селектору в разметке, Markdown и sidecar с метаданными. В примере AWS обход и индексация идут одним контейнером на Fargate по расписанию. Открой пару типовых вопросов к базе и посмотри, не цепляется ли выдача за мусор из разметки — если да, второй контур имеет смысл; если хватает стартовых адресов и синхронизации из коробки, он не нужен.