一、使用robots.txt文件
如下为禁止所有搜索引擎收录,可自行根据需要修改。
在站点根目录下robots.txt添加如下内容:
User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
二、网页头部添加禁止收录声明
拦截所有搜索引擎把网页收录:
<meta name="robots" content="noindex, nofollow">
只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录:
<meta name="baiduspider" content="noindex, nofollow">
允许搜索引擎收录你的网页,但禁止其追踪外部链接:
<meta name="robots" content="nofollow">
允许搜索引擎收录你的网页,但禁止其收录网页上的图片:
<meta name="robots" content="noimageindex">
注:哪一个网页需要拦截或删除,则在那个网页添加<META>
标签,其他页面不会受影响,
<META>
标签针对的是具体的某个网页,而不是整个网站。