Полный текст
«Идея создания данной публикации крутилась в моей голове уже давно. Дело в том, что одно из моих хобби связано с распределёнными вычислениями, а другое хобби связано с нейросетями, и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так, чтобы все они выполняли работу над одной и той же моделью параллельно»Распределённый инференс llama.cpp через RPC