Robots文件中，以下哪个指令为禁止抓取某些内容？（）

[单选题]在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）A .AllowB .DisallowC .nofollowD .noindex

[单选题]以下哪个标签是禁止搜索引擎抓取？（）A . noindexB . nofollwC . bead

[问答题] robots，禁止admin这个文件访问，如何使用，如何写？

[单选题]Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）A . "User-agent：*Disallow：/A"B . "User-agent：Allow：/A"C . "User-agent：Disallow：/"D .

[单选题]某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）A . {User-agent：BaiduspiderDisallow：}B . {User-agent：BaiduspiderAllow：*}C . {User-agent：BaiduspiderAllow：/}D . {User-agent：BaiduspiderDisallow：/}

[单选题]下列哪能禁止搜索引擎抓取网站内容？（）A . 使用robots文件定义B . 使用404页面C . 使用301重定向D . 使用sltemap地图

[单选题]以下文件中哪个涉及大额报告制度的内容？（）A . 联合国制止向恐怖主义提供资助的国际公约B . 巴塞尔委员会关于防止利用银行洗钱的声明C . 联合国打击跨国有组织犯罪公约D . 金融行动特别工作组（FATF）40＋9项建议

[单选题]Google和百度哪个能抓取Iframe里的内容（）A .GoogleB .百度C .都能D .都不能

[多选题] 对于ROBOTS文件作用，哪些描述是正确（）A . 防止网站非公开部份的网页被抓取B . 禁止搜索引擎访问某些文件C . 提升网站排名D . 避免收录重复内容

[单选题]关于robots文件下面说法正确的是（）。A . 一个网站可以放多个不同robots文件B . robots文件不可以用xml格式命名C . disallow用来描述不希望被访问到的一个URLD . robots文件可以放在任何位置