robots文本有什么用（写好robots.txt文件必看的10个注意事项）提起robots.txt文件可能站长们并不陌生。是一个简单的以.txt结尾的文本文件，是搜索引擎Robot（也叫搜索引擎机器人）程序抓取网页时要访问的第一个.....