一、使用robots.txt文件

如下为禁止所有搜索引擎收录，可自行根据需要修改。
在站点根目录下robots.txt添加如下内容：

User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /

二、网页头部添加禁止收录声明

拦截所有搜索引擎把网页收录：

<meta name="robots" content="noindex, nofollow">

只是拦截百度蜘蛛爬取网页，而允许其他搜索引擎收录：

<meta name="baiduspider" content="noindex, nofollow">

允许搜索引擎收录你的网页，但禁止其追踪外部链接：

<meta name="robots" content="nofollow">

允许搜索引擎收录你的网页，但禁止其收录网页上的图片：

<meta name="robots" content="noimageindex">

注：哪一个网页需要拦截或删除，则在那个网页添加<META>标签，其他页面不会受影响， <META>标签针对的是具体的某个网页，而不是整个网站。