✅ Apple M4 Pro: как новый чип меняет локальный ИИ
✅ Apple M4 Pro: как новый чип меняет локальный ИИ Apple M4 Pro демонстрирует серьёзный потенциал для запуска больших языковых моделей прямо на устройстве. В тестах чип успешно обрабатывает модели вроде Llama 3.1 8B (около 65 токенов в секунду) и даже 70B при использовании квантования Q4 и 64 ГБ объединённой памяти. Ключевой фактор — высокая пропускная способность памяти (273 ГБ/с для 24 ГБ, 546 ГБ/с для 64 ГБ), которая напрямую влияет на скорость инференса. Это открывает новые возможности для локальных ИИ-инструментов без постоянной зависимости от облака.
86 просмотров