A .Allow
B .Disallow
C .Crawl-delay
D .noindex
[多选题] robots.txt支持的代码为()。A . AllowB . DisallowC . sitemapD . nofollow
[问答题] 什么是robots.txt?
[单选题]robots.txt的作用是()。A . 禁止搜索引擎蜘蛛抓取特定URLB . 给搜索引擎蜘蛛提供网站地图文件C . 以上都对
[单选题]Robots.txt有什么作用()A . 使搜索引擎不能访问网站B . 使百度不能访问网站C . 使google不能访问网站D . 控制搜索引擎访问网站
[问答题] 你怎样使用robots.txt?
[判断题] Atoll支持的CW测试数据格式有.dAt,.txt,.CSv,不支持PlANET的.hd格式。A . 正确B . 错误
[单选题]某网站禁止百度蜘蛛索引所有网页,以下robots.txt文件正确的是:()A . {User-agent:BaiduspiderDisallow:}B . {User-agent:BaiduspiderAllow:*}C . {User-agent:BaiduspiderAllow:/}D . {User-agent:BaiduspiderDisallow:/}
[单选题]在为禁止搜索引擎抓取网页设计的Robots.txt文件中,哪些指令标示禁止抓取()A .AllowB .DisallowC .nofollowD .noindex
[单选题]IIS不支持()服务。A.WWWB.FTPC.E-mailD.Gopher
[单选题]802.11a不支持的传输速率为( )。A.5.5MbpsB.11MbpsC.54MbpsD.100Mbps