Quickwit — поисковый движок для логов и трейсов с хранением индексов в S3
Quickwit — поисковый движок для логов и трейсов с хранением индексов в S3 Quickwit ориентирован на observability-данные. Можно рассматривать, когда нужно хранить и искать большие объёмы логов и трейсов, не размещая весь индекс на дорогих локальных SSD. Главная особенность Quickwit — разделение вычислений и хранения. Индексаторы формируют независимые части индекса — splits — и сохраняют их в S3, MinIO, Google Cloud Storage или Azure Blob Storage. Search-ноды остаются stateless и загружают из объектного хранилища только необходимые части индекса. Метаданные в распределённой конфигурации обычно хранятся в PostgreSQL. Это выглядит интересно для длительного хранения логов и нагрузок, где интенсивность поиска меняется со временем. Что поддерживает Quickwit: 🚀 полнотекстовый поиск, фильтрацию и агрегации; 🚀 строгую схему и schemaless-индексацию; 🚀 приём логов и трейсов через OpenTelemetry; 🚀 интеграцию с Jaeger и Grafana; 🚀 совместимый REST API с Elasticsearch/OpenSearch API; 🚀 загрузку данных из Kafka, Pulsar, Kinesis, S3 и через Ingest API; 🚀 распределённое развёртывание в Kubernetes. Основной фокус Quickwitн сделан на логах и трейсах, пока что в продукте нет полноценной поддержки метрик. Репыч на GitHub Архитектура Quickwit Интеграция с Grafana ✅ Telegram | ✅ MAX