禁止搜索引擎收录网页

一、使用robots.txt文件

如下为禁止所有搜索引擎收录,可自行根据需要修改。
在站点根目录下robots.txt添加如下内容:

User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /

二、网页头部添加禁止收录声明

拦截所有搜索引擎把网页收录:

<meta name="robots" content="noindex, nofollow">

只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录:

<meta name="baiduspider" content="noindex, nofollow">

允许搜索引擎收录你的网页,但禁止其追踪外部链接:

<meta name="robots" content="nofollow">

允许搜索引擎收录你的网页,但禁止其收录网页上的图片:

<meta name="robots" content="noimageindex">

注:哪一个网页需要拦截或删除,则在那个网页添加<META>标签,其他页面不会受影响, <META>标签针对的是具体的某个网页,而不是整个网站。

最后修改:2019 年 08 月 04 日 08 : 59 PM
如果觉得我的文章对你有用,请随意赞赏

发表评论