Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уро... — 20 апреля 2026 г. в 09:11:00.722
Решил понемногу погружаться в тему ИИ, чтобы изучить технологию работы с ними не на уровне вопросов в окно чата, а чуть поглубже. Начать решил с локальных моделей, так как они всегда под рукой, бесплатны, нет ограничений доступа, а технически взаимодействие с ними такое же, как и с большими платными моделями. Разница лишь в качестве ответов. Для обучения это некритично. Весьма кстати недавняя покупка нового компьютера. Покупал его не для работы с ИИ, а просто как основной рабочий. Конечно, его видюхи маловато для локальных моделей, но с другой стороны, что-то мощнее и стоит дороже. Компьютер в целом сбалансированный получился и просто так его не усилить без добавления денег. Сразу показываю конфигурацию, чтобы далее было понятен контекст: ▪️AMD Ryzen 5 5600 ▪️32 ГБ Памяти ▪️RTX 5060 8 ГБ Все выходные игрался с моделями - устанавливал, запускал, тестировал. Увлекательное занятие, не оторваться. Очень понравилось. Смотрел видео, читал материалы, изучал. Работал с Ollama и ML Studio. Первая проще по настройкам, их там почти нет. Устанавливаешь, качаешь модель, чатишься. Более тонкая работа с ним будет уже через API и агентов. ML Studio более продвинутая в плане настроек и встроенных возможностей. Можно прямо в интерфейсе подключать плагины, MCP сервера. Для первоначального знакомства с технологией лучше подходит. Плюс, OIllama почему-то меньше нагружает видеокарту, больше процессор, а ML Studio наоборот - на 100% видеокарту и потом процессор. В чём причина - не разбирался. Все настройки дефолтные. У ML Studio удобный поиск по моделями. Она сразу показывает, какие модели у тебя нормальной пойдут, а какие пробовать не стоит. Для того, чтобы быстро сориентироваться в этой теме, можно воспользоваться сайтом - canirun.ai. Он автоматически видит твоё железо и показывает, какие модели как на нём заработают. ML Studio делает примерно то же самое у себя. У меня шустро работают модели до 10B, а если больше, то только квантированные - Q4_K_M. Но некоторые очень медленно, надо оставлять запрос на выполнение и заниматься другими делами. Например: - Qwen3.6-35B-A3B-Q4_K_M даёт 7 токенов в секунду; - Qwen3-Coder-30B-A3B-Instruct-Q4_K_M - 15; - Gemma-4-31B-it-Q4_K_M только 1. Для первоначального знакомства ориентироваться стоит на популярные модели: ◽️Qwen ◽️Llama ◽️Gemma ◽️GigaChat ◽️Mistral Я тестировал как общие, так и заточенные на программирование, те, что имеют приписку coder. Например, плейбуки ансибла или докер файлы Qwen3-Coder-30B пишет вполне сносно. Я для себя наметил следующие задачи, которые попробую решить с помощью небольших локальных моделей: 🔹Интеграция с IDE при написании конфигураций и скриптов для решения текущих рабочих задач. 🔹Поиск и анализ информации в интернете, в частности выжимка из ежедневных новостей и видео, фокус на том, что мне интересно. 🔹Работа с моими текущими задачами, документами, календарём. 🔹Автоматизация некоторой рутины, связанной с отчётностью по рекламе, договорами, бухгалтерией, бюджетом и т.д. Хочу научиться работать с RAG и MCP. Для того, чтобы хотя бы примерно понять, какие практические задачи можно решать с MCP, предлагаю посмотреть популярные порталы с ними: - Google MCP Servers - NeuralDeep MCP (много российских интеграций) - Official MCP Registry - MCPmarket Например, к модели через MCP можно подключить Grafana или Zabbix и работать с их сущностями, чаты MAX для чтения и отправки сообщений, магазин Вкусвилл для набора корзины и т.д. Много интересных и необычных интеграций. Есть где развернуться. Причем для таких небольших прикладных задач локальной модели будет достаточно. Буду рад любым практическим советам в этом деле. По мере появления свободного времени, буду потихоньку всё это изучать и чем-то делиться. Лучший способ что-то изучить - это хоть как-то начать взаимодействовать с технологией. Сначала ничего не понятно, но по мере погружения в контекст будет получаться всё больше и больше. #ai