⚡ Нашёл LLM в 8 раз дешевле. Через час она заговорила иероглифами
⚡ Нашёл LLM в 8 раз дешевле. Через час она заговорила иероглифами Переход на китайскую нейросеть сократил расходы в 8 раз. Но на длинных ответах модель внезапно начинала писать на китайском посреди русского текста. Что случилось. Автор новостного бота обрабатывает ~936 новостей в день через LLM (большие языковые модели — нейросети, которые читают и пишут как человек). Он заменил deepseek-v4-flash на китайскую inclusionai/ling-2.6-flash — цена ниже в 8 раз ($0.010 против $0.098 за миллион токенов). Тесты на точность категорий прошли идеально. Где споткнулся. На длинных генерациях (разбор новости, 6 полей) модель «забывала» язык — более половины ответов содержали китайские иероглифы. Короткие выводы протекали реже. deepseek-v4-flash давал 0% утечек. Как починил. Добавил детектор иероглифов через регулярные выражения на Python. Если находил китайские символы — переотправлял запрос на deepseek. Дорогая модель подчищает за дешёвой. Первые 10 минут детектор поймал 25 утечек, 23 из них на длинных разборах. Вывод. Дешёвая модель показала отличные результаты на синтетических тестах, но «сломалась» там, где автор не догадался проверить — в реальном продакшене. Итоговая экономия вышла ощутимой, но не 8-кратной, потому что за часть ответов приходится платить дважды. Хороший урок: тестируй модель не на «привет, как дела», а на тех данных, с которыми она будет работать в бою. А вы сталкивались с неожиданными багами при смене модели? Как находили такие «скрытые» проблемы? 👇 #LLM #нейросети #Python