python主题LDA建模和t-SNE可视化

原文链接：http://tecdat.cn/?p=4261

原文出处：拓端数据部落公众号

 

使用潜在Dirichlet分配（LDA）和t-SNE中的可视化进行主题建模。

本文中的代码片段仅供您在阅读时更好地理解。有关完整的工作代码，请参阅完整资料。

我们将首先介绍主题建模和t-SNE，然后将这些技术应用于两个数据集：20个新闻组和推文。

什么是主题建模？

主题模型是一套算法/统计模型，可以揭示文档集中的隐藏主题。 文档通常涉及不同比例的多个主题，特别是在跨学科文档中（例如，60％关于生物学，25％关于统计学，15％关于计算机科学的生物信息学文章）。主题模型在数学框架中检查和发现主题可能是什么以及每个文档的主题可能性。

热门话题建模算法包括潜在语义分析（LSA），分层Dirichlet过程（HDP）和潜在Dirichlet分配（LDA），其中LDA在实践中已经显示出很好的结果，因此被广泛采用。这篇文章将使用LDA进行主题建模。

T-SNE

t-SNE或t分布随机邻域嵌入是用于高维数据可视化的维数降低算法。这部分是为了减轻人类不能（至少现在不能）感知超过3-D的向量空间这一事实。

这是一个降维并在三维空间中可视化的示例（信用：Google嵌入项目）

t-SNE是不确定的，其结果取决于数据批次。换句话说，相对于批次中的其他数据点，相同的高维数据点可以被转换成不同批次的不同2-D或3-D向量。

可以使用各种语言实现t-SNE，但速度可能会有所不同。

环境

15-inch MacBook Pro, macOS Sierra

2.2 GHz Intel Core i7 processor

16 GB 1600 MHz DDR3 memory

1.将10,000 x 50矩阵转换为10,000 x 2

C ++和Python

real 1m2.662s

user 1m0.575s

sys 0m1.929s

Python sklearn

real 3m29.883s

user 2m22.748s

sys 1m7.010s

2.将20,000 x 50矩阵转换为20,000 x 2

C ++和Python

real 2m40.250s

user 2m32.400s

sys 0m6.420s

Python sklearn

real 6m54.163s

user 4m17.524s

sys 2m31.693s

3.将1,000,000 x 25矩阵转换为1,000,000 x 2

C ++和Python

real 224m55.747s

user 216m21.606s

sys 8m21.412s

Python sklearn

out of memory... :(

t-SNE的作者说，他们“已经将这项技术应用于数据集，最多有3000万个例子”（尽管他没有指定数据和运行时的维度）。如果你有一个更大的数据集，你可以扩大你的硬件，调整参数（例如，sklearn的t-SNE中的angle参数），或尝试替代（如LargeVis，其作者声称“与tSNE比较，LargeVis显着降低了图形构建步骤的计算成本“。我还没有测试过它。

把它放在一起：20个新闻组的例子

在本节中，我们将在20个新闻组数据集上应用LDA算法，以发现每个文档中的基础主题，并使用t-SNE将它们显示为组。

获取数据

sklearn具有检索和过滤20个新闻组数据的功能：

from sklearn.datasets import fetch_20newsgroups
 remove = ('headers', 'footers', 'quotes')
 newsgroups_train = fetch_20newsgroups(subset ='train', remove =remove)
newsgroups_test = fetch_20newsgroups(subset ='test', remove =remove)
  news = [' ' .join(filter(unicode .isalpha, raw .lower() .split())) for raw in
newsgroups_train .data + newsgroups_test .data]

 

LDA模型

在我们获得清理后的数据后，我们可以对数据进行矢量化并训练LDA模型：

import lda
from sklearn.feature_extraction.text import CountVectorizer
n_topics = 20 # 主题数目
n_iter = 500 # 循环次数
 cvectorizer = CountVectorizer(min_df =5, stop_words ='english')
cvz = cvectorizer .fit_transform(news)
 lda_model = lda .LDA(n_topics =n_topics, n_iter =n_iter)
X_topics = lda_model .fit_transform(cvz)

 

其中X_topics是18,846（num_news）乘20（n_topics）矩阵。注意，我们在这里有一个很好的概率解释：每一行是属于某个主题的这个新闻的概率分布（由我们的LDA模型学习）（例如，X_topics[0][0]代表属于主题1的第一个新闻的可能性）。

用t-SNE减少到2-D

我们有一个学习过的LDA模型。但我们无法直观地检查我们的模型有多好。t-SNE来分析：

from sklearn.manifold import TSNE
 
tsne_model = TSNE(n_components =2, verbose =1, random_state =0, angle =.99, init='pca')
# 20-D -> 2-D
tsne_lda = tsne_model .fit_transform(X_topics)

 

可视化组及其关键字

现在，我们已准备好使用流行的Python可视化库来可视化新闻组和关键字。

首先我们做一些设置工作（导入类和函数，设置参数等）：

import numpy as np
import bokeh.plotting as bp
from bokeh.plotting import save
from bokeh.models import HoverTool
n_top_words = 5 
colormap = np .array([
"#1f77b4", "#aec7e8", "#ff7f0e", "#ffbb78", "#2ca02c",
"#98df8a", "#d62728", "#ff9896", "#9467bd", "#c5b0d5",
"#8c564b", "#c49c94", "#e377c2", "#f7b6d2", "#7f7f7f",
"#c7c7c7", "#bcbd22", "#dbdb8d", "#17becf", "#9edae5"
])

 

然后我们找到每个新闻最可能的主题：

_lda_keys = []
for i in xrange(X_topics .shape[0]):
_lda_keys += _topics[i] .argmax(),
并获得每个主题的顶级单词：
topic_summaries = []
topic_word = lda_model .topic_word_ # 所有主题关键词
vocab = cvectorizer .get_feature_names()
for i, topic_dist in enumerate(topic_word):
topic_words = np .array(vocab)[np .argsort(topic_dist)][: -(n_top_words + 1): -1] # 获得数据
topic_summaries .append(' ' .join(topic_words)) # 加到单词列表

 

我们绘制新闻（每个点代表一个新闻）：

title = '20 newsgroups LDA viz'
num_example = len(X_topics)
plot_lda = bp .figure(plot_width =1400, plot_height =1100,
title =title,
tools ="pan,wheel_zoom,box_zoom,reset,hover,previewsave",
x_axis_type =None, y_axis_type =None, min_border =1)
plot_lda .scatter(x =tsne_lda[:, 0], y =tsne_lda[:, 1],
color =colormap[_lda_keys][:num_example],
source =bp .ColumnDataSource({
"content": news[:num_example],
"topic_key": _lda_keys[:num_example]
}))
#绘制每个主题的关键词：

 topic_coord = np .empty((X_topics .shape[1], 2)) * np .nan
for topic_num in _lda_keys:
if not np .isnan(topic_coord) .any():
break
topic_coord[topic_num] = tsne_lda[_lda_keys .index(topic_num)]
 for i in xrange(X_topics .shape[1]):
plot_lda .text(topic_coord[i, 0], topic_coord[i, 1], [topic_summaries[i]])
 hover = plot_lda .select(dict(type =HoverTool))
hover .tooltips = {"content": "@content - topic: @topic_key"}
 save(plot_lda, '{}.html' .format(title))

 

你会得到一个像这样的交互式图表：

当我们为每个文档分配一个主要主题时，有些情况最可能的主题的概率相当低（极端情况是每个主题被分配5％，即，均匀分布）。换句话说，我们的模型无法为这样的新闻分配主题。

一种解决方法是添加一个阈值因子，以帮助过滤掉低置信的分配。在我们训练LDA模型之后，使用t-SNE减少维数之前，简单地说明：

import numpy
threshold = 0.5
_idx = np .amax(X_topics, axis =1) > threshold  
X_topics = X_topics[_idx]

 

并重新运行我们将得到的代码：

看起来好多了：独立和明确的簇！

推文示例

Twitter已成为最受欢迎的新闻和社交网络服务（SNS）平台之一。我们也可以使用推文语料库来模拟主题。

我们希望将推文保存到磁盘并积累一定数量（至少数百万）来有效地模拟主题，而不是将推文放在内存中进行实时处理。

首先，我们需要建立一个推文连接，我们可以抓取实时推文：

至少花一两天时间来积累相当数量的推文。有时连接可能会中断：只需重新运行脚本，以便将新推文保存到磁盘。

获得足够的推文后，我们可以加载推文，处理它们，对它们进行矢量化并计算tf-idf分数，训练LDA模型，减少到2-D，并可视化结果。请参阅此处的完整脚本。

你会得到一个如下图：

这是对200万条推文进行过训练的模型的可视化，只显示了5,000个数据点（或推文）。我们有一些很好的集群学习模型： “视频点赞新”代表社交网络内容。

---

---

参考文献

1.matlab偏最小二乘回归(PLSR)和主成分回归(PCR)

2.R语言高维数据的主成分pca、 t-SNE算法降维与可视化分析

3.主成分分析(PCA)基本原理及分析实例

4.基于R语言实现LASSO回归分析

5.使用LASSO回归预测股票收益数据分析

6.r语言中对lasso回归，ridge岭回归和elastic-net模型

7.r语言中的偏最小二乘回归pls-da数据分析

8.r语言中的偏最小二乘pls回归算法

9.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）