网络公司排名优化之robots文件写法技巧-整站优化
作者：济南抖音国际版社区福利入口网络 来源：未知 日期：2018-11-06 浏览：543
1.robots.txt文件是什么
robots.txt是一个纯文本文件，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
每个站点建立一个robots.txt文件，所以你应该在网站中添加一个robots.txt（即使这个robots.txt文件只是一个空文件）。
2.robots.txt的写法（语法）
1）User-Admin该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*，则该协议对任何机器人均有效。
2）Disallow: 该项的值用于描述不希望被访问到的一个URL，一个目录或者整个网站。抖音国际版社区福利入口可以用以Disallow URL 均不会被搜索引擎蜘蛛访问到。
任何一条 Disallow 记录为空，
3）用法举例：
网站目录下所有文件均能被所有搜索引擎蜘蛛访问
Disallow:
禁止所有搜索引擎蜘蛛访问网站的任何部分
Disallow: /
禁止所有的搜索引擎蜘蛛访问网站的几个目录
Disallow: /b/
只允许某个搜索引擎蜘蛛访问
Disallow:
3.robots.txt文件带来的风险以及解决
robots.txt 同时也带来了一定的风险：其也给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限对您的隐私内容实施保护，这样，攻击者便从此进入。
4.常见搜索引擎蜘蛛Robots名字
Baiduspider ：http://www.baidu.com
Scooter ：http://www.altavista.com
ia_archiver： http://www.alexa.com
Googlebot ：http://www.google.com
Inktomi Slurp ：http://www.yahoo.com
FAST-WebCrawler： http://www.alltheweb.com
Slurp ：http://www.inktomi.com
MSNBOT ：http://search.msn.com
5.注意事项：
1）robots.txt可以站点的根目录下，而且文件名必须全部小写。
2）不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。
3）为安全考虑，建议很重要的文件夹不要写在robots.txt文件中，或你只建一个空白robots.txt文件。
