🔥 AlphaGo-момент для AI: нейросети начали самостоятельно изобретать нейросети
🔥 AlphaGo-момент для AI: нейросети начали самостоятельно изобретать нейросети Мы привыкли, что новые архитектуры моделей рождаются в головах гениев. Это был human-limited процесс: сколько архитектур может придумать и протестировать команда исследователей за год? Десятки, может сотню. Группа учёных решила: а что если сделать этот процесс compute-bound? ASI-ARCH: три AI-агента вместо R&D отдела Система из трёх LLM-агентов: - Researcher — генерирует код новой архитектуры. - Engineer — тренирует и дебажит её. - Analyst — майнит паттерны из результатов и скармливает их обратно Researcher'у. Плюс memory store, который хранит каждую мотивацию, git diff и метрики, чтобы агенты не ходили по кругу. Что получилось на выходе: — 1 773 эксперимента — 20 000 GPU-часов — 106 рекордных linear-attention дизайнов, которые превзошли человеческие бейзлайны — Прямая линейная зависимость между потраченным compute и количеством найденных SOTA-решений Авторы проводят параллель с AlphaGo и Move 37 — ходом, который шокировал профессиональных игроков. AI-рождённые идеи заходят на территорию, куда люди просто не заглядывали: у нас не хватает пропускной способности перебрать миллионы вариантов. Почему это важно: Большинство современных NAS (Neural Architecture Search) лишь тонко тюнят блоки, которые уже предложили люди. ASI-ARCH делает шаг в сторону — generation с чистого листа плюс итеративное улучшение через loop из трёх агентов. Мой прогноз: в ближайшие 2-3 года архитектуры production-моделей будут всё чаще рождаться не в головах исследователей, а в автономных AI-лабораториях. Human researchers перейдут в роль architects of architects — проектировщиков мета-процесса. Как тебе идея доверить поиск архитектур AI-агентам? Или всё ещё хочешь руками писать residual blocks? 👇 #AI #ArchitectureSearch #MLResearch