🌍 Baseten выпустила бесплатный учебник по инженерии инференса
🌍 Baseten выпустила бесплатный учебник по инженерии инференса Восемь глав объясняют, как сформулировать требования к продукту, как устроены модели и где они тормозят, прежде всего в механизме внимания, разбирают GPU NVIDIA поколений Hopper и Blackwell и программный уровень, от CUDA и PyTorch до движков vLLM, SGLang, TensorRT-LLM и Dynamo.
9 просмотров