专业IT科技资讯平台,关注科技、手机、电脑、智能硬件、电脑知识!
当前位置:主页 > 建站 > 技术分享 >

TF-IDF分词算法在SEO工作中的应用-是一种统计算法,用于对检索的

导读:

  TF-IDF分词算法是一种统计算法,用于对检索的加权。简单的讲其作用是评估一字词对于一个文件的重要

  TF-IDF分词算法是一种统计算法,用于对检索的加权。简单的讲其作用是评估一字词对于一个文件的重要程度。

  在SEO的衍生应用中,我们可以这么去理解上面这段话:在一个公司里,有10个SEOer,每个人都写了一篇关于SEO的文章,并且把这些文章都放在了一个文档集里。我们可以预料到的是,基本每篇文章中都会重复多次出现SEO这个词,意味着这十篇文章都与SEO有关。现在我要查找一篇关于网站权重的SEO文章。那么我会在搜索引擎中输入“SEO 网站权重”。

  最终我找到两篇同时出现了这两个词的文章,第一篇里面出现了2次“网站权重”和10次“SEO,另一篇出现了10次“网站权重”和2次“SEO”。现在的问题是:抛开作者的素质(网站整体权重)、文章质量(页面权重)、公司内专家的推荐(高质量外链)以及其他种种因素的影响后,谁的文章应该排在搜索结果的前面?

  带着这个问题,我们来学习TF-IDF算法以及TF-IDF分词算法在SEO工作中的应用。

  

  TF-IDF的核心概念

  如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。

  同时,如果一篇文章中出现了我们要查询的词,我们就会认为该文章与我们要查的词有比较大的相关性。延续这种思路,就是如果一篇文档中出现要查询的词的次数越多,该文章与要查询的词之前的相关性应该越大。

  我们在以往的SEO工作中,运用到的关键词密度技术,基于的就这个TF原理。

  那么我们在TF-IDF算法中,先定义一个TF(t,d)表示词语t在文章d中的出现次数。

  我们可以通过关键词密度查询工具来查询TF值:http://tool.chinaz.com/Tools/Density.aspx

  但仅仅考虑词出现的次数是不行的,因为常常我们查询的都是两个以上的词,比如“AA BB”或者“XX YY ZZ”等形式。如果是这种形式的查询,哪个词出现的次数应该做为重要性的依据呢?这就引出了IDF来测量词的稀缺度,这里我们定义IDF为IDF(t) = log(N / DF(t))。其中:

  DF(t):该词(以t为代表)在多少篇文章中出现过。查询办法是通过google搜索某一个词t,得到的搜索结果我们可以理解DF(t)。

  N:总文章数。这个数值在我们SEO工作中没有什么实际的用处,因为我们不可能知道搜索引擎索引了多少文章。但是对于搜索引擎来说,N却是一个判定词权重的数据。

  log:这个也不是我们SEO工作中需要考虑的数值,一般而言,log的底数可以随便设定。一般而言,我们采用+1的方式来抑制上述“网站权重 SEO”例子中第二篇出现10次“网站权重”的文章比第一篇出现2次“网站权重”的文章重要5倍的夸张情况出现。

  4

  TF-IDF的SEO应用实战

  看到这里,是不是觉得很烦躁?我们来进入一段广告……呃,不,进入一段实例:

  TF-IDF值 = TF×IDF(TF乘以IDF) = 1+log tf(t,d) × log(N / DF(t))

  “网站权重”TF值为:w=1+log 31(次出现)=2.49

  “网站权重”IDF值为:23,200,000篇/1万亿(假设值,08年数据)=4.63

  “网站权重”TF-IDF值为:2.49*4.63=11.53

  “SEO”TF值为:w=1+log 34(次出现)=2.53

  “SEO”IDF值为:1,220,000,000篇/1万亿(假设值,08年数据)=2.91

  “SEO”TF-IDF值为:2.53*2.91=7.36

  我们得到了“网站权重”TF-IDF值11.53和“SEO”TF-IDF值7.36。这有什么用呢?

  TF-IDF值越大,文章与索引词越相关;

  只有当“网站权重”这个词权重高的页面,才有可能在“网站权重 SEO”这个搜索结果的排名上有比较好的效果;

  锚文本链接需要加强“网站权重”这个词;

  如果我们针对这个页面做“SEO”的锚文本,则不会有太好的表现;

  在没有其他因素加权或降权的情况下,小于该页面的总计词权值18.89(11.53+7.36)的页面将排名较低,大于18.89的页面将排名比次文章高

  TF-IDF在SEO应用的总结

  以上只是一个TF-IDF在SEO衍生应用中的一个例子。无论是TF-IDF的计算方式,或者是该案例的假设条件,都是不严谨和准确的。但这不妨碍我们明白“关键词密度”这一SEO技术的原理。同时,也在关键词排名方面,跟竞争对手有了一个可以量化的参考。

  无论百度还是谷歌又或者其他搜索引擎,TF-IDF只是其搜索排名算法中很小的一部分。同时为了打击关键词堆砌,各大搜索引擎又都会对TF值做一定的限制。SEOMoz给的一个安全的词频数为每篇页面不重复15词关键词。而不是简单的用2%-8%的关键词密度。当然这个建议是基于国外的搜索引擎。