Пост 4802

✌️Жестовый язык на EMNLP-2025На EMNLP представлено 5 работ по жестовым языкам, включая нашу. Ниже краткое саммари, а дальше мы сделаем подробный обзор каждой. 🤟Logos as a Well-Tempered Pre-train for Sign Language RecognitionНаша работа, Logos — крупнейший датасет по русскому жестовому языку (RSL), включающий тысячи глоссов и сотни носителей. Он используется для предобучения универсального энкодера, применимого к другим языкам жестов (в том числе WLASL и AUTSL).Ключевые идеи:— Явная аннотация визуально похожих жестов улучшает точность распознавания.— Многоголовая классификация повышает качество в low-resource сценариях.— State-of-the-art на WLASL и AUTSL бенчмарках.✋ Improving Handshape Representations for Sign Language ProcessingРабота предлагает двухпоточный GNN-подход для точного распознавания форм кистей (handshapes) — ключевого фонологического параметра. Архитектура разделяет динамику движения (Sign GNN) и статическую форму руки (Handshape GNN).🎯 Результаты: 46% accuracy против 25% у базовой MLP, впервые создан бенчмарк по handshape-распознаванию.🔍 Значение: объединение вычислительных моделей и лингвистики жестового языка.🔤 PoseStitch-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language TranslationАвторы предлагают лингвистически мотивированную схему обучения, где синтетические фразы генерируются по шаблонам для обучения переводу. Применён стандартный Transformer-переводчик, обученный на искусственно «сшитых» парах предложений. Результаты: BLEU-4 вырос с 1.97 до 4.56 на How2Sign, и с 0.55 до 3.43 на iSign.📚 Investigating Dictionary Expansion for Video-based Sign Language DictionariesАвторы предлагают схему расширения словарей жестового языка без полного переобучения моделей. Основной метод: эмбеддинги для видео и текста выравниваются в общем пространстве, позволяя добавлять новые жесты и объединять дубли.— До 75% правильных новых записей (по экспертной оценке), +12% точности при мультимодальном обучении.— Автоматизация обновления позволяет дешевле и быстрее мастшабировать словари.🧠 Rethinking Sign Language Translation: The Impact of Signer Dependence on Model EvaluationСтатья показывает, что большинство современных моделей зависят от конкретных исполнителей жестов (людей, которые записывают жест), что завышает метрики. При переходе к signer-independent оценке BLEU-4 падает с 22 до 3–4. Рекомендации авторов:— использовать signer-independent протоколы;— переосмыслить датасеты, включая независимые сплиты по юзерам и глоссам;— главный вывод: текущие результаты в задаче перевода ЖЯ сильно переоценены! реальные системы работают хуже и не пригодны для прода!#paperwatch #emnlp