Полный текст
Запускаем 8B LLM в браузере: AQLM.rsАвтора этой статьи долгое время интересовал запуск больших языковых моделей на пользовательских устройствах, и сейчас он расскажет, как написал инференс модели Llama 3.1 8B, работающий в браузере на WebAssembly без использования GPU. Кстати, проект открытый, а его демка доступна любому пользователю.