什么因素影响搜索引擎抓取一个网站？

[单选题]下列哪能禁止搜索引擎抓取网站内容？（）A . 使用robots文件定义B . 使用404页面C . 使用301重定向D . 使用sltemap地图

[问答题] 一个网站拥有多个域名，搜索引擎会认为存在大量重复网页，则会影响搜索引擎排名，更严重的会将此网站删除，请结合所学知识回答网站多个域名的处理方法有哪些？

[多选题] 以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）A . 缺乏robots.txt文件B . 使用框架结构C . 动态URL（超过两个变量）D . 购买链接E . 要求填写提交表单的页面

[单选题]众所周知，搜索引擎蜘蛛抓取的是页面的源代码。源代码中什么状况严重阻碍搜索引擎抓取页面的真正有价值的内容（）。A . CSS控制的大段样式代码B . 代码中的大段空行代码C . 网页头部大段JS代码D . 控制iframe结构的代码

[单选题]搜索引擎的抓取顺序是（）A . 从上到下，从右到左B . 从下到上，从左到右C . 从上到下，从左到右D . 从下到上，从右到左

[问答题] 什么是搜索引擎？常用的中英文搜索引擎网站有哪些？

[单选题]Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）A . "User-agent：*Disallow：/A"B . "User-agent：Allow：/A"C . "User-agent：Disallow：/"D .

[多选题] 搜索引擎会对违反搜索引擎规范的网站做出惩罚，以下哪些是搜索引擎对于网站的惩罚手段？（）A . 网站收录大幅下降B . 网站全部关键字排名下降C . Google沙盒效应D . 网站在搜索引擎中无法找到

[多选题] 网站内部链接是网站搜索引擎优化的重要部分，好的内链有利于搜索引擎抓取更多的网页。下列关于栏目页面的内部链接描述错误的是（）A . 所有栏目页必须链接到首页B . 栏目页应该链接到本栏目的上级频道页C . 栏目页可以链接到同一频道下的其他栏目页D . 栏目页必须链接所有频道下的所有栏目页

[单选题]网站无须主动登录搜索引擎的是哪种搜索引擎技术？（）A . 分类目录B . 关键字广告C . 第三方平台D . 全文检索搜索引擎