[单选题]

robots.txt的作用是（）。

A . 禁止搜索引擎蜘蛛抓取特定URL

B . 给搜索引擎蜘蛛提供网站地图文件

C . 以上都对

参考答案与解析：

相关试题