Локальный ИИ на микроконтроллере. Разработчик под ником SlvDev запустил компактную язык...
Локальный ИИ на микроконтроллере. Разработчик под ником SlvDev запустил компактную языковую модель (TinyStories от Microsoft Research, 28,9 млн параметров) на микроконтроллере ESP32-S3 стоимостью меньше 10 долларов. Чтобы модель поместилась в ограниченную память чипа, автор применил четырёхбитное квантование (это сократило объём данных на 75%) и использовал метод послойного встраивания. В результате микроконтроллер генерировал текст локально со скоростью почти 10 токенов в секунду. Проект демонстрирует прогресс в методах оптимизации, хотя для сложных задач (например, полноценного чат-бота) такая модель пока не подходит.
66 просмотров