Полный текст
38 токенов в секунду на 35B-модели: инференс на GPU за $500Локальная работа тяжёлых сетей обычно упирается в покупку RTX 4090, ведь официальный стек ROCm игнорирует большинство десктопных видеокарт. Но эту монополию можно обойти.Движок ZINC, написанный на Zig, выжимает максимум из потребительской архитектуры RDNA4. Ускорение достигается за счёт прямого доступа через Vulkan и отказа от толстых ML-прослоек. Статический граф вычислений срезает CPU-оверхед, ручные GLSL-шейдеры оптимизируют DMMV-операции, а paged KV cache устраняет фрагментацию VRAM. Всё это работает из одного бинарника.