🤬 Как не слить бюджет на ИИ, как Uber и Microsoft. Мануал — 9 июня 2026 г. в 10:00:06.365
🤬 Как не слить бюджет на ИИ, как Uber и Microsoft. Мануал Помните $3.4 млрд за 4 месяца? Да, они просто забыли поставить лимиты. У вас миллиардов нет. Значит, будете умнее. Я запилил большой мануал для Дзена. Там всё по шагам: 🧠 Что запускать локально — OpenHands + Ollama, бесплатно 🔧 Как ставить жёсткие лимиты — кодом и через LiteLLM Proxy 💰 Сколько стоит одна задача — от $0.00 (локально) до $0.05 (Claude 3.5) 📊 Мониторинг — логируем каждый токен в базу 💀 Главный запрет — никаких досок почёта за токены 🎯 Главные цифры из мануала (для нетерпеливых): Локальная Qwen 7B через Ollama → бесплатно, но медленнее. Claude 3.5 через API с лимитами → **$0.05 за задачу**. LiteLLM Proxy отрежет API, когда бюджет $10 закончится. И никаких сюрпризов. 🛠 Быстрый старт (для тех, кто в терминале): bash # Ставим Ollama и качаем модель curl -fsSL https://ollama.com/install.sh | sh ollama pull qwen:7b # Запускаем агента OpenHands docker run -it --rm -e LLM_MODEL=qwen:7b -p 3000:3000 ghcr.io/all-hands-ai/openhands:latest Открываете localhost:3000 — можете давать задачи. Все токены локально. Счёт за электричество. ⚠️ Если хотите Claude/GPT — ставим лимиты до того, как дали API-ключ: python MAX_COST_PER_SESSION = 1.0 # долларов # если превысит — код упадёт, денег не съест Полный код и конфиги для LiteLLM — в большой статье. 🔗 Весь мануал с картинками, примерами и ссылками — в Дзене (ссылка ниже). Там же: — сравнение провайдеров по ценам — скрипты для мониторинга — как запустить агента на старом ноутбуке 🔥 Лайк — если хотите больше мануалов по локальному ИИ. Подписка — чтобы не пропустить следующий мануальчик. А теперь бегом в Дзен — забирать инструкцию, пока счёт не пришёл.
Канал в каталоге MAXimeter
1 040 подписчиков · IT и технологии