RPC для распределённого инференса: как собрать LLM на нескольких машинах в vLLM, llama.cpp и других движках
Модели растут быстрее, чем видеопамять одной машины. Qwen3-235B, Llama-3.1-405B, DeepSeek-V3 не помещаются даже в топовую H100 с 80 ГБ, не говоря о домашних RTX 4090 и Mac Studio н…