Как один математический трюк запустил эпоху ChatGPT и Claude — и почему он всё ещё не о...
Как один математический трюк запустил эпоху ChatGPT и Claude — и почему он всё ещё не объясняет интеллект Математический приём под названием «механизм внимания» научил нейросети не терять смысл длинных фраз — и спустя годы лёг в основу ChatGPT, Claude и других ИИ. Его предложили в 2014 году для машинного перевода, а в 2017-м Google построил на нём архитектуру трансформера. Модель на каждом шаге решает, какие слова важнее. Но исследователи всё меньше уверены, что внимание объясняет интеллект: человеческий мозг решает те же задачи куда экономнее. Подробности на сайте Механизм внимания оказался гениально простым: научи машину угадывать следующее слово — и она заодно освоит перевод, код и факты. Прям как человеческий мозг. Только маленькая такая загвоздочка: человеческому мозгу для того же не нужно проглотить половину интернета и спалить электричество небольшого города. А так всё нормально. АВС Автоматизация в Телеграмме | в VK