word2vec 究竟学到了什么？新理论证明其等价于 PCA 矩阵分解

一项新研究首次为 word2vec 提供了定量预测理论，证明在现实训练条件下，其学习问题可简化为无权重最小二乘矩阵分解，最终学到的表示由 PCA 给出。从随机小初始化训练时，word2vec 按离散步骤依次学习正交线性子空间，每个特征对应可解释的主题概念，且这些特征可闭式求解为特定矩阵的特征向量。