URL链接对网站有多重要?就好比人身体的无数血管一样,稍有不畅,就会带来各种各样的问题,URL优化的效果跟站点在百度的权重关联性不大,但是对收录、蜘蛛爬行和传递权重有明显的提升。我虽然不常发贴但是经常观察到大部分SEO的提问都是收录怎么怎么不好,权重怎么怎么不高,我也观看过很多站点,很多基础的工作完全都处于迷糊的状态。试想换一种思路,站长变成spider来爬行你的站,我相信大部分站长自己都跑不通。这里我只给出url优化的几个重要点。
URL一致性
URL 一致性是一个非常重要的指标,推荐大家一本书《走进搜索引擎》里面有介绍spider是一种机器程序,而非人脑,虽然也有学习的过程,但是国内网站千千万,每个网站有不同的url规范,你如果url命名规则杂乱无章spider又怎能高效的辨别你的内容规范? 这里举个个人觉得做的比较好的case:“下载吧”。读者可以去翻阅下载吧的网站。他的主体结构为:首页=>列表页=>内容页 。这里因地制宜,只是举例可能并不适合你的站点。
偏权重
偏权重可能是我自己创造的一个首发词,大神们勿喷。通过我多年的分析发现,每个站点的流量是有集中点的。这个从爱站的工具里面大家可以看出来,这里拿我一个客户和朋友的网站给大家做做案例。同一个网站 90%的流量都出自于某个目录,在这里面内容类型内容质量都是一样的。相信大家在自己作站过程中也有所体会,百度会偏向给权重到某个目录。考虑到这个问题,url一致性和目录规划就更重要了。
爬行原理
蜘蛛爬行原理有 深度优先和宽度优先这里分开说一下:
(1)深度优先:深度优先适用于一些大站,蜘蛛很渴望得到他的内容,比如新浪网易他们的目录很长,也能收录。假如我们给蜘蛛一个线程只能爬取一个页面,爬行轨迹:首页-封面页-频道页-内容页,那么你网站的结构是:首页=> xxx/a=> xxx/a/b=> xxx/a/b/c/1.html=>。蜘蛛会沿着你的深度爬行进去,但是无论多大的站,你的深度也必须有限,否则蜘蛛不可能无穷尽的挖掘进去,爬累了自然就会离开。并且内容也没带回去。
(2)宽度优先:这个是我非常推崇的,而且我所有新站都是这种效果。我自己建了5天的站蜘蛛爬行800次。效果说明在扁平化的今天,宽度优先是可以让蜘蛛非常高效的爬行和返回的。url结构 xxx/a/ xxx/b/ xxx/c/ 这类的叫宽度优化,爬行轨迹 :首页-频道页A-频道页B-频道页C/首页-频道页A-内容页A1-内容页A2-内容页A*
综上所述。其实可以看出:宽度优先的效率明显高于深度优先。而且蜘蛛的任务类别也单一,非常容易识别。同一线程爬取的几乎是同一类型页面,页面样式,外观相同。蜘蛛不必花时间过于的去分析你的页面内结构,层次清晰。
爬虫黑洞
这个问题不是什么新问题了。百度也有做专门的阐述,因为一些url处理不当产生的动态参数后缀,或是刻意圈住蜘蛛所做的无限循环,这种的效果明显是弊大于利。对URL的规划上,一定要想办法尽可能地处理掉无限动态参数后缀,并且也要合理的给蜘蛛出口,这才是真正有利于SEO 的做法,关于处理爬虫黑洞的办法这里我不做多讲解。
创建具有良好描述性、规范、简单的url,有利于用户更方便的记忆和判断网页的内容,也有利于搜索引擎更有效的抓取您的网站。网站设计之初,就应该有合理的url规划。
发布时间:2019-09-18
推荐阅读:
夫唯学院成立于2007年,11年来与数万学员共成长。创始人夫唯先生总结的四处一词、站内站、定向锚文本、聚合等多种核心优化策略,并在众多学员网站上得到验证。夫唯先生推崇“循序渐进,基业长青”的SEO运维思想,以SEOWHY为现实实战案例,历经5年零起步创造了网站品牌。
SEO培训报名联系方式:客服QQ86594013 客服微信:seowhy2021