网页聚类的特征选取

对大规模网页(包含中文)进行结构聚类,一套模板或者非常相似的模板生成的网页分为一类,这方面有没有什么好的算法或者网页的特征怎么选取?哪些算法时间复杂度较低的?

阅读 4.4k
3 个回答

特征可以考虑:

  1. 网页的domain, /的个数, /分隔的每部分是什么(单词/纯数字/字母加数字), 这样给每部分打上tag. 比如www.abc.com/item/item-12345.html就是www.abc.com/单词/字母数字符号.html
    然后可以在这个基础上去统计分布, 算字符串的编辑距离等等

kmeans需要指定k啊, 在对数据整体情况不了解的情况下, 如何设置k就很麻烦
可以尝试一下类似层次聚类的东西, 直接开始迭代

只是个人YY,按照标签结构构建一棵树,计算下相似度

用k-means吧

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题