对于词语的表示，最开始采用one-hot编码，用于判断文本中是否具有该词语；后来发展使用Bag-of-Words，使用词频信息对词语进行表示；再后来使用TF-IDF根据词语在文本中分布情况进行表示。而近年来，随着神经网络的发展，分布式的词语表达得到大量使用，word2vec就是对词语进行连续的多维向量表示。