Полный текст
Чему именно учится word2vec?Долгие годы динамика обучения word2vec оставалась чёрным ящиком без количественной прогностической теории. Оказывается, в реалистичных режимах эта задача сводится к невзвешенной факторизации матриц методом наименьших квадратов, а итоговые векторы выводятся обычным методом главных компонент (PCA).При инициализации около нуля модель осваивает семантику дискретными шагами. Векторы поэтапно формируют ортогональные линейные подпространства, последовательно повышая ранг матрицы эмбеддингов и её ёмкость. Эти признаки вычисляются строго аналитически.