robort

例如，http://www.baidu.com/robots.txt是一个有效的位置,楼主您好:robots.txt是要放在根目录下的,当搜索机器人robots(有些称为搜索蜘蛛或爬虫)访问一个站点时，它会首先检查robots.txt是否存在于该站点的根目录中,robots.txt文件必须位于域的根目录中，并命名为“robots.txt”。{0}1、robots.txt应该放在什么地方楼主您好:robots.txt是要放在根目录下的。所谓根目录，就是你的网站程序所在的目录。一般根目录好像是一个叫web或者...