zblog博客的robots.txt文件怎么用？
今天查看浩源博客蜘蛛数据的时候，头条蜘蛛一直在爬取博客robots.txt这个页面，不知道是为何？但是反馈的数据却是robots.txt却是404了，这才发现自己的博客竟然没有安装robots.txt文件。
robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。这篇文章就讲解一下，zblog博客程序中如何设置robots.txt文件
zblog 目录文件
写robots.txt规则之前，要先了解zblog 所包含的文件，文件夹以及它们的作用是什么。以下图片所展示的内容，为全新的zblog博客安装包，所包含的文件夹以及文件。
feed.php : RSS Feed 入口文件
index.php : 前端页面入口文件
search.php : 搜索入口文件
zb_install 文件夹：zblog 初始化安装文件夹，安装完毕会自动删除，或手动删除
zb_system 文件夹：为 zblog 框架的主要文件，需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取
zb_users 文件夹：为 zblog 为用户文件夹，里面包含了主题文件夹，插件文件夹，以及附件存放文件夹。
avatar ：用户头像文件夹
cache ：缓存文件夹
data ：数据文件夹（屏蔽蜘蛛）
emotion ：表情文件夹
language ：语言包文件夹（屏蔽蜘蛛）
logs ：目志文件夹,里面文件是记录错误的（屏蔽蜘蛛）
plugin ：插件文件夹
theme ：主题文件夹
upload ：附件文件夹（图片或其它类型文件）
zblog博客的robots.txt文件的写法
以下输入规则，仅供参考
User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:https://www.pan199.cn/sitemap.xml
注意：sitemap.xml 为网站的地图文件，可以在zblog应用中心搜索相关的插件，使用zblog墨初VIP主题，以及zblog墨初CMS主题的用户不需要安装此类插件
robots.txt安装与效验
robots.txt 文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的，否则是没有什么作用的。
安装方法
1、本地新建‘文本文档’并命名为 'robots.txt' 把上面的内容复制，保存即可
2、把 'robots.txt'文件上传到服务器的网站根目录即可
rotots.txt文件效验
可以通过百度搜索资源平台进行效验，
网址：https://ziyuan.baidu.com
1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；3.作者投稿可能会经我们编辑修改或补充。
很详细，试一试！