深度探讨蜘蛛友好度建设

 什么是蜘蛛友好度？

蜘蛛友好度我们通常指的是搜索引擎的蜘蛛（Spider）爬行和抓取网站的时候，网站返回的信息是否能符合搜索引擎蜘蛛爬行和抓取的要求。

如何提升网站蜘蛛友好度？

一：服务器连通率

蜘蛛爬行网站，服务器的性能非常的重要。包括服务器的访问速度、服务器连通率。理论上来说，服务器的访问速度越快，蜘蛛爬行下载页面所需要的时间就越短，对蜘蛛的友好度就越高。相反，如果服务器性能很低，访问速度很慢，对于蜘蛛来说需要消耗大量时间去下载页面，友好度就会降低。另外服务器的连通率也是一个重要的指标，服务器不稳定，不仅会严重损害用户的友好度，同时也会大大降低网站对蜘蛛的友好度。

建议正确做法：购买服务器要选择大品牌，而且口碑较好的IDC提供商，国内有阿里云、西部数码、百度云、腾讯云等服务器稳定性和产品性能都是非常不错的。

二：正确设置Robots.txt

Robots协议，是针对于搜索引擎蜘蛛爬行的协议，蜘蛛在爬行网站的时候首先会到网站根目录读取robots.txt的规则。robots.txt设置不当，比如出现

User-agent: * 

Disallow: /

这样的代码会导致蜘蛛无法爬行和抓取。网站不设置robots.txt搜索引擎蜘蛛默认的是允许所有。

建议正确做法：seo新手或者对robots.txt协议不熟悉可以考虑不设置。如果设置了Robots.txt协议。建议到百度站长工具（Robots）检测下。

三：网站结构

百度蜘蛛无法抓取JS、flash、图片、框架（iframe）里的内容。所以网站建设中，尽量要避免重要的内容使用这些技术来实现。很多网站为了追求美感大量使用图片或者flash，会导致蜘蛛无法识别网站内容，降低了网站对蜘蛛的友好度。

建议正确做法：网站尽量使用文字，避免大面积使用图片或者flash等

四：404死链接

404死链接指的是存在但是无法访问的网址。网站中出现404不仅对用户体验有很大的影响，同时对蜘蛛的友好度也会降低。网站中出现大量404会导致关键词排名不稳定。

建议正确做法：网站定期要检查下有没有死链接。如果有要及时处理。推荐死链查询工具（Xenu）！

五：URL的优化

如果网站URL过长，会严重影响蜘蛛爬行网站的友好度.

建议正确做法：网站的URL尽量简短，层次分明。