网页聚类的特征选取_Python_论坛

网页聚类的特征选取

风***2 分类：Python 人气：1013 回帖：3 发布于6年前收藏

对大规模网页(包含中文)进行结构聚类，一套模板或者非常相似的模板生成的网页分为一类，这方面有没有什么好的算法或者网页的特征怎么选取？哪些算法时间复杂度较低的？

Lv5 码农

流***雨交互设计师 6年前#1

只是个人YY，按照标签结构构建一棵树，计算下相似度

Lv5 码农

so***70 移动开发工程师 6年前#2

用k-means吧

Lv1 新人

qq***qq JS工程师 6年前#3

特征可以考虑:

网页的domain, /的个数, /分隔的每部分是什么(单词/纯数字/字母加数字), 这样给每部分打上tag. 比如www.abc.com/item/item-12345.html就是www.abc.com/单词/字母数字符号.html
然后可以在这个基础上去统计分布, 算字符串的编辑距离等等

kmeans需要指定k啊, 在对数据整体情况不了解的情况下, 如何设置k就很麻烦
可以尝试一下类似层次聚类的东西, 直接开始迭代

文明上网，理性发言！ 😉 阿里云幸运券，戳我领取