资讯中心 /NEWS

蜗牛网络详谈robots.txt写法规则

发布日期:2014-11-12 点击: 【字体:
搜索引擎robots.txt规则,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置robots.txt协议文件:

①robots.txt允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /

②robots.txt禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
腾讯Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)

③robots.txt禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/
把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

④robots.txt禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:
User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
Disallow: /目录名字/              说明(这里设定禁止蜘蛛抓取的目录名称)
例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
User-agent: Msnbot
Disallow: /admin/

⑤robots.txt设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /*.htm   说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)⑥robots.txt充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:User-agent: *
Allow: .htm$   说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

⑥robots.txt禁止全站被搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /

⑦robots.txt只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
User-agent: 搜索引擎蜘蛛名字     说明(上面有说明蜘蛛的名字)
Disallow:
如果您有业务需求,请随时联系我们进行咨询!
电话:0762-3393885
传真:0762-3228556
手机:18027933395(李生) 15986023001(高生)
Q Q: 51198658 / 1209780002
邮箱:web@hywoniu.com / admin@hywoniu.com
地址:河源市建设大道友力商务大厦B座502号
微信号:web0762

姓名不能为空!

邮箱不能为空!

请填写有效的邮箱地址!

需求描述不能为空!

蜗牛微官网