巧妙使用robots提升网站权重网站权重：搜索引擎对于网站整体表现的一个得分评价。影响网站权重的因素：1、网站内容因素2、服务器因素3、外链因素4、网站结构因素5、网站信用度因素。如果网站产生大量的重复页面则搜索引擎就会认为你的网站不好，权重会降低。大量的404错误也会降低权重。200正常;请求已完成。201正常;紧接POST命令。202正常;已接受用于处理，但处理尚未完成。203正常;部分信息—返回的信息只是一部分。204正常;无响应—已接收请求，但不存在要回送的信息。3xx重定向301已移动—请求的数据具有新的位置且更改是永久的。302已找到—请求的数据临时具有不同URI。303请参阅其它—可在另一URI下找到对请求的响应，且应使用GET方法检索此响应。304未修改—未按预期修改文档。305使用代理—必须通过位置字段中提供的代理来访问请求的资源。306未使用—不再使用;保留此代码以便将来使用。4xx客户机中出现的错误400错误请求—请求中有语法问题，或不能满足请求。401未授权—未授权客户机访问数据。402需要付款—表示计费系统已有效。403禁止—即使有授权也不需要访问。404找不到如果是403的则不要写在robots对用户有用，而对搜索引擎没用的页面需要DisallowRobots文件是搜索引擎访问网站时第一个要读取的文件，它告诉搜索程序服务器上哪些内容可以抓取，哪些不用抓取。目前网站的robots文件里面的抓取规则已经日趋完善，比如禁止了网页中图片的抓取，禁止蜘蛛抓取一些会员隐私（个人简历）页面、一些无用页面（之前的推广页面）、样式表文件等，但是仍然有部分页面并不需要蜘蛛程序的抓取，这部分页面只是面向用户的，搜索引擎抓取了并没有什么意义，瓜分了页面的权重。一、网站的404页面每个网站都存在一些错误页面，404页面的存在就是为了当用户访问了错误页面的时候能够将用户引导到正确的页面上，防止网站流量的流失。而一个页面较多的网站肯定存在很多的错误页面，这就导致存在很多相似的404页面，如下图所示：所以，一旦404页面太多，而还让搜索引擎去收录，就会导致网站把权重分给这些404页面，所以应该屏蔽404页面。添加规则：Disallow：/404.html二、网站部分导航页面网站底部的一些导航页面，如“市场合作”“网站声明”“付费方式”等都是针对客户的页面，几乎没有用户通过搜索引擎上搜索这些页面并到达网站，而且这些导航页面是全站显示的，所有的内容页面都存在，同样的也要分散这些页面的权重。这部分页面都是位于同一目录/main下，该目录下除保留部分页面需蜘蛛进行抓取外，其他页面可以都禁止，保留页面为：“关于我们”（main/aboutus.asp），友情链接（main/friendlink.asp）。此外“资费标准”“付费方式”页面位于企业会员中心页面，这些页面也没有必要对搜索引擎开放。添加规则：Allow：/main/aboutus*Allow：/main/friendlink*Allow：/main/recruitmeeting*Allow：/main/investigation*Disallow：/main/Disallow：/company/companyapplymember*将现有规则中最后一条删除：disallow：/main/refuse*将新添加的两条“Allow”规则放到disallow命令的前面。通过一些对搜索引擎抓取意义不大的页面，将首页和一些内容页面的权重更加集中。
