禁止所有搜索引擎：<meta name=”robots” content=”noarchive”>
禁止百度搜索引擎：<META NAME=” Baiduspider” CONTENT=”NOINDEX,NOFOLLOW,noarchive”>
允许抓取本页，并允许顺着本页索引其他链接：<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW” >
允许抓取本页，但是禁止抓取本页其他链接：<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>
不允许抓取本页，但是允许顺着本页索引其他链接：<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>
禁止抓取本页，并禁止抓取本页其他链接：<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
