搜索引擎营销

URL规范化URLnormalization--SEO基础

字号+ 作者:西安SEO 来源:西安SEO 2017-04-29 13:49 我要评论( )

URL规范化URLnormalization--SEO基础,URL规范化(urlnormalization)其实就是一个标准化URL的过程,其实也就是将一个URL转化为一个符合规范的等价URL(如http://www


URL规范化(url normalization)其实就是一个标准化URL的过程,其实也就是将一个URL转化为一个符合规范的等价URL(如转化为),这样程序可以确定这两个URL是等价的。
URL规范化用于搜索引擎可以减少对页面的重复索引,同时也可以减少爬虫的重复抓取。浏览器端识别用户是否访问过一个URL也需要使用URL规范化。

西安SEO

1 URL组成

2 不规范的URL

3 URL规范化过程

4 SEO URL规范化

URL组成:
protocol :// hostname[:port] / path / [;parameters][query]#fragment
  协议://主机名[:端口]/ 路径/[:参数] [查询]#Fragment

不规范的URL: 1 URL中多余的字符
1.1 子域名的URL中包含"www":  "http://shuchao.cnblogs.com/"
1.2 含有默认端口: "http://www.cnblogs.com:80/shuchao/"
1.3 松散的URL: "http://www.chapters.indigo.ca/books/amazon-sucks-donkey-balls/9780470170779-item.html"
1.4 多余默认文件名index.html,default.aspx等:"http://www.cnblogs.com/shuchao/index.html"
1.5 文件路径中
     (1) 多余的"/":"http://www.cnblogs.com/shuchao//"
     (2) 多余的点修饰串:"x/y/z/a/b/page.html"
1.6 查询串中多余的
     (1) (空查询串):
     (2) &
     (3) 无用的查询变量:=123&fake=fake
2 URL缺少字符串
2.1 缺少"/":"http://www.cnblogs.com/shuchao"
2.2 查询串缺少名称或者值:"http://www.example.com/displayid=" 或者 "http://www.example.com/display=123"
3 其他不规范的URL
3.1 "http://shuchao.cnblogs.com/" 与 "http://www.cnblogs.com/shuchao/"其实是相同的内容
3.2 使用IP代替域名
3.3 含有扩充字符(extended characters),大小写敏感("http://www.google.cn/Intl/zh-CN/about.html" 和"http://www.google.cn/intl/zh-CN/about.html")
3.4 "+"和"%20"混用
3.5 查询变量顺序混乱:"http://www.example.com/test.aspxbar=1&a=test"
3.6 含临时的状态变量:=/prevpage.aspx

URL规范化过程: 1.URL协议名和主机名小写化
  ->
2.escape序列转化为大写,因为escape序列大小敏感
%3a ->%3A
3.删除Fragment(#)
#seo ->
4.删除空查询串的''
  -> 
5.删除默认后缀
   -> 
6.删除多余的点修复符
  ->
7.删除多余的"www"
  ->
8.对查询变量排序
 =123&fakefoo=fakebar → =123 \
9.删除取默认值的变量
=&sort=ascending →
10.删除多余的查询串,如,&
  →
11.Dust 规则(Schonfeld 等人提出的启发式方法)
=123 ->
西安SEO
SEO URL规范化:
不规范的URL会造成网站很多重复的URL,导致爬虫重复抓取同一内容,影响网站有效的内容被抓取,同时也就影响索引。
多个不规范URL造成PR稀疏,本来流向同一页面的PR,结果造成了流向多个不规范的URL。
还有一个用户体验问题,复杂或者不规范的URL容易使用户对网站造成不良印象。

Google管理员增加了URL规范化的工具,可以删除URL中无用的参数。

 

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • SEO基础之META标签篇

    SEO基础之META标签篇

    2017-05-24 11:20

  • ASP.NET的SEO:基础知识

    ASP.NET的SEO:基础知识

    2017-04-29 13:49

网友点评