[单选题]

在为禁止搜索引擎抓取网页设计的Robots.txt文件中,哪些指令标示禁止抓取()

A .Allow

B .Disallow

C .nofollow

D .noindex

参考答案与解析:

相关试题

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件,网站通过Robo

[单选题]Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。在www.domain.com中,如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容,Robots文件应如何设置?()A . "User-agent:*Disallow:/A"B . "User-agent:Allow:/A"C . "User-agent:Disallow:/"D .

  • 查看答案
  • 以下哪个标签是禁止搜索引擎抓取?()

    [单选题]以下哪个标签是禁止搜索引擎抓取?()A . noindexB . nofollwC . bead

  • 查看答案
  • 下列哪能禁止搜索引擎抓取网站内容?()

    [单选题]下列哪能禁止搜索引擎抓取网站内容?()A . 使用robots文件定义B . 使用404页面C . 使用301重定向D . 使用sltemap地图

  • 查看答案
  • 搜索引擎的抓取顺序是()

    [单选题]搜索引擎的抓取顺序是()A . 从上到下,从右到左B . 从下到上,从左到右C . 从上到下,从左到右D . 从下到上,从右到左

  • 查看答案
  • Robots文件中,以下哪个指令为禁止抓取某些内容?()

    [单选题]Robots文件中,以下哪个指令为禁止抓取某些内容?()A . AllowB . DisallowC . nofollowD . nood

  • 查看答案
  • 众所周知,搜索引擎蜘蛛抓取的是页面的源代码。源代码中什么状况严重阻碍搜索引擎抓取

    [单选题]众所周知,搜索引擎蜘蛛抓取的是页面的源代码。源代码中什么状况严重阻碍搜索引擎抓取页面的真正有价值的内容()。A . CSS控制的大段样式代码B . 代码中的大段空行代码C . 网页头部大段JS代码D . 控制iframe结构的代码

  • 查看答案
  • 某网站禁止百度蜘蛛索引所有网页,以下robots.txt文件正确的是:()

    [单选题]某网站禁止百度蜘蛛索引所有网页,以下robots.txt文件正确的是:()A . {User-agent:BaiduspiderDisallow:}B . {User-agent:BaiduspiderAllow:*}C . {User-agent:BaiduspiderAllow:/}D . {User-agent:BaiduspiderDisallow:/}

  • 查看答案
  • 搜索引擎的基本工作原理包括抓取、索引、排序

    [判断题] 搜索引擎的基本工作原理包括抓取、索引、排序A . 正确B . 错误

  • 查看答案
  • 某网页不允许搜索引擎抓取,以下代码正确的是:()

    [单选题]某网页不允许搜索引擎抓取,以下代码正确的是:()A . <meta name="robots" content="nosnippet"/>B . <meta name="robots" content="noarchive"/>C . <meta name="robots" content="nofollow"/>D . <me

  • 查看答案
  • 什么因素影响搜索引擎抓取一个网站?

    [问答题] 什么因素影响搜索引擎抓取一个网站?

  • 查看答案