robots文件怎么写,robots.txt文件的作用和写法
robots.txt协议是网站和搜索引擎的协议。
作为网站优化人员，一定要会看robots文件，也要会写robots文件，那么，robots.txt文件有什么作用？
robots.txt文件的作用有：
（1）引导搜索引擎蜘蛛抓取指定内容或栏目。比如，有的网站部分内容，只有注册会员后，登陆会员功能才能看到更多内容。
（2）网站改版或者URL需要重写优化的时候屏蔽对搜索引擎不友好的链接。
（3）屏蔽死链接、404页面；
（4）屏蔽无内容页面、无价值页面；
（5）屏蔽重复页面，如搜索结果页、评论页面等；
（6）屏蔽任何不想收录页面；
（7）引导蜘蛛抓取网站地图。
网站设置robots.txt可以集权到网站重要页面，保护网站安全。
知道了robots.txt的作用和设置robots.txt的必要性后，我就要知道robots.txt怎么写？
User-agent:Baiduspider
Disallow:/
禁止百度抓取
User-agent:*
Disallow:/
不允许所以蜘蛛抓取
User-agent:Baiduspider
Disallow:/baidu/
禁止访问/baidu/里面的所有文件夹
User-agent:*
Disallow:/baidu/huaxia.js
紧张蜘蛛抓取某个文件夹下面的某个内容
知道了这些，我们就根据robots.txt文件的写法和实际需要。把写好的robots.txt文件，通过FTP网站后台打开上传网站跟目录就可以了。
为了方便各位朋友学习，robots.txt文件我们举例写一下，供需要学习的朋友参考：
User-agent: *
Disallow: /baidu/huaxia.js
指定所有搜索引擎蜘蛛抓取站点根目录下/baidu/文件夹下的huaxia.js文件
User-agent: *
Allow: /baidu/ccc
Disallow: /baidu/
禁止所有搜索引擎抓取baidu文件夹
但可以抓取百度文件夹下含有ccc的文件及文件夹
User-agent: *
Disallow: /*.js$
禁止抓取站点根目录所有js文件
User-agent: *
Disallow: /*.css$
禁止抓取站点根目录下所有css文件
User-agent: *
Disallow: /*？*
禁止蜘蛛抓取所有动态路径
Sitemap: 域名/sitemap.xml
网站地图写法
robots.txt书写规格
robots.txt文件书写注意事项：
英文符号下写；
冒号后要有空格；
**字母要大写；
/ 网站根目录（网站所有）
其实，robots.txt文件，只要熟悉理解代码，书写和应用很简单。
版权声明： 本文内容由互联网用户自发贡献，该文观点仅代表作者本人，因此内容不代表本站观点、本站不对文章中的任何观点负责，内容版权归原作者所有、内容只用于提供信息阅读，无任何商业用途。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站（文章、内容、图片、音频、视频）有涉嫌抄袭侵权/违法违规的内容， 请联系本站管理员，一经查实，本站将立刻删除、维护您的正当权益。
