Краткое содержание
SberDevices представили бенчмарк LIBRA для оценки способности LLM понимать длинный контекст, с кодом и лидербордом.
Темы
ИИ
NLP
оценка моделей
Теги
llm
бенчмарк
длинный контекст
sberdevices
libra
Упомянутые сущности
SberDevices
LIBRA
Полный текст
LIBRA: Long Input Benchmark for Russian AnalysisВ SberDevices разработали бенчмарк LIBRA, который включает в себя 21 адаптированный набор данных для тщательного изучения способности LLM понимать длинный контекст. Помимо самих данных для оценки, опубликованы кодовая база и лидерборд для сравнения моделей.
Другие посты из habr_com
habr_com
2024-08-09T09:49:20+00:00
Личный опыт участия в ультрамарафонах: преодоление дистанций в 166 км по сугробам и горам, ощущение достижения и радость от простых вещей.
Читать