首先，来看关于robots.txt的介绍。Z-Blog 2相对于1.8变化很大，其中文件目录的变化相当大，原来的robots.txt已经不适用了。
下面是我的简单生活使用的robots.txt
User-agent: *
Disallow: /zb_system/
Disallow: /zb_users/
Disallow: /search.asp*
Disallow: /view.asp*
Disallow: /catalog.asp*
Sitemap: https://www.wilf.cn/sitemap.xml
如果没有设置分类页的伪静态，请去掉
Disallow: /catalog.asp*
如果不想屏蔽某个插件或上传附件的收录，请去掉Disallow: /zb_users/，并相应的修改为
Disallow: /zb_users/CACHE
Disallow: /zb_users/INCLUDE
# 目录请自行补齐……
最后一行是在这里加上sitemap的链接
Sitemap: https://www.wilf.cn/sitemap.xml
搜索引擎都有自己的“机器人”（robots、bot），通常也叫做“蜘蛛”和“爬虫”（spider），并通过这些 robots 在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。
对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被 robots 抓取而公开。为了解决这个问题，robots 开发界提供了两个方法：一个是 robots.txt，另一个是 robots meta 标签。下面将对这两种方法进行详细的介绍。
robots.txt 是一个纯文本文件，通过在这个文件中声明该网站中不想被 robots 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在 robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt 必须放置在一个站点的根目录下，而且文件名必须全部小写。
如 www.i0554.com，根目录下的 robots 就是 http://www.i0554.com/robots.txt 继续阅读
近期评论