Зарубежные ИИ-боты массово выкачивают данные российских брокеров
Зарубежные ИИ-боты массово выкачивают данные российских брокеров По данным Servicepipe, доля ботов-скраперов в ИИ-трафике брокерских сайтов взлетела с 7% в июне до 68,82% в августе. В абсолютных цифрах - с 420 тысяч запросов до 5,5 млн. Кто качает данные –Бот Meta (признана экстремистской и запрещена в РФ) - 55,14%, больше 3 млн запросов – ClaudeBot от Anthropic - 27,78%, свыше 1,5 млн – GPTBot от OpenAI - 8,83% – Bytespider от ByteDance - 6,36% – TikTokSpider - 0,53% ▫️ Лидерство Meta в Servicepipe связывают с агрессивной подготовкой к запуску новых моделей Llama. Отдельно замечен Google-Extended, который пополняет датасеты для Gemini в обход обычного поисковика. Никакого целенаправленного интереса тут нет, считает Вячеслав Арбузов из «Финама». Это часть общего голода моделей по качественным данным, а сайты брокеров удобны: много структурированной и регулярно обновляемой информации о тарифах, инструментах, условиях торговли и аналитике. Сергей Зорин из «Цифра брокера» добавляет: Россия - крупная страна, и моделям важно понимать не только английский. Сбор таких данных помогает лучше работать с русскоязычной финансовой тематикой. ▫️ Тарифы и котировки быстро устаревают, и если зашить их прямо в модель, она потом уверенно назовёт отменённую комиссию. Поэтому такие данные обычно подтягивают через RAG во время ответа. ▫️ А вот для самого обучения ценнее долгоживущее: финансовая терминология, описания продуктов, методологии, аналитические отчёты. Они учат модель предметному языку и структуре рассуждений в отрасли. Одновременно упали другие категории трафика: ассистенты с 33% до 8,78%, поисковые краулеры с 60% до 22,4%. ▫️ Брокеры могут закрыться, современные системы защиты позволяют фильтровать ботов выборочно. Но полностью рубить ИИ-трафик Арбузов не советует - агенты всё чаще будут искать информацию от имени пользователей, и компании может быть выгодно, чтобы её тарифы и продукты были им доступны. Подписывайтесь на AI для бизнеса