徐州网站建设营销建站
公司企业网站建设服务
当前位置:首页 > 帮助中心 > 什么是robots文件格式有哪些如何提交

什么是robots文件格式有哪些如何提交

什么是robots文件

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

911日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL


什么是视频极速体验页

搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务,网站可前往平台完善服务设置,获取各项搜索权益。详情参考《视频极速体验服务说明》


设置搜索robots协议的后果

针对短视频类内容,视频搜索将不再索引、展现网站的视频资源,历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ,该目录下内容将从搜索中屏蔽,其余内容在搜索中则以正常结果展示。

robots.txt文件的格式

 robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
        "<field>:<optional space><value><optionalspace>"

 在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干DisallowAllow,详细情况如下:
        User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干DisallowAllow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 DisallowAllow行的限制。

        Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html/helpabc.html/help/index.html,而"Disallow:/help/"则允许robot访问/help.html/helpabc.html,不能访问/help/index.html"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

        Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm/hibaiducom.html/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。

        使用"*"and"$"
Baiduspider支持使用通配符"*""$"来模糊匹配url
        "*" 匹配0或多个任意字符
         "$" 匹配行结束符。

最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

robots.txt文件用法举例


网站误封Robots该如何处理


robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!

那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑军伟,为我们分享网站robots误封禁后该如何操作?


【案例背景】

网站开发2.0版本,技术选择了在线开发,为了避免搜索引擎抓取开发版本,要求技术人员设置了Robots封禁处理。2.0版本开发周期1个月,1个月后网站版本迭代,直接覆盖了1.0版本,包括Robots封禁文件,2天后发现流量大幅下降,检查收录发现800万收录降至0条,关键词大量掉线。

【处理方式】

1.修改Robots封禁为允许,然后到百度站长后台检测并更新Robots

2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。

3.在百度站长后台抓取频次,申请抓取频次上调。

4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处,设置数据主动推送(实时)。

6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

以上处理完,接下来就是等待了,万幸,2天的时间数据开始慢慢回升,到第3天基本回升到正常状态!

【案例总结】

本次事故绝对是运营生涯的一次败笔,总结反思一下,希望大家避免类似问题。

1.产品开发一定要避免在线开发,不能为了省事不搭建开发环境。

2.产品迭代要有流程记录,开发时做了那些设置处理,那些是不需要放出来的,那些是必须放出来的,要非常清楚。

3.要经常关注百度站长后台,关注相关数据变化,从数据变化中及时发现问题

相关推荐新闻

百度智能小程序熊掌号搜索资源指数3.0上线

搜索资源指数3.0已于8月30日上线,搜索资源指数3.0由三部分构成:智能小程序指数、站点指数、平台任务分。 即:新版搜索指数的总分=智能小程序指数+站点指数+平台任务分。 特别说明,拥有多个智能小程序的合作伙伴,智能小程序指数是由绑定的多个智能小程序综合评估后得出,并非多个智能小程序各自的指数直接简单相加。

什么是robots文件格式有哪些如何提交

什么是robots文件Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

网站建设改版(连云港)如何提交百度站长工具

网站建设改版(连云港)如何提交百度站长工具

企业网站备案缺少网站备案资料或备案资料异常

常见报错:xxx身份证与姓名不匹配,请变更备案资料及时修正原因:常见有二:一、原备案信息填写时出现错字;二、相关身份证信息有变更或工商法人信息有变更;解决办法:请按照如下步骤排查解决:请比对备案信息中相关负责人姓名是否与证件完全一致,若不一致,请及时在备案信息-备案主体中修改;若填写无误,可能是相关证件近期发生过变更导致的:若报错的是网站负责人,建议更换为其他的本单位工作人员;

网站备案企业经营状态异常

常见报错有:从征信查询,营业执照状态不正常,证件异常/在异常名录中;从征信查询,营业执照状态不正常,证件注销/从征信查询,营业执照不存在/营业执照已移出/营业执照已迁移 解决办法:请登录国家企业信用信息公示系统核查营业状态,若确实营业状态异常,需要联系当地工商部门解除异常,异常解除后再次提交备案审核;

网站备案相关负责人名称与身份证不匹配如何解决

常见报错:xxx身份证与姓名不匹配,请变更备案资料及时修正 原因:常见有二:一、原备案信息填写时出现错字;二、相关身份证信息有变更或工商法人信息有变更; 解决办法:请按照如下步骤排查解决: ①、请比对备案信息中相关负责人姓名是否与证件完全一致,若不一致,请及时在备案信息-备案主体中修改; ②、若填写无误,可能是相关证件近期发生过变更导致的:

网站备案主体信息与权威库中比对不一致解决办法

常见报错有: 您好,经权威库查询对比:单位数据不存在;企业单位名称不一致/法人名称不一致/证件号码不一致;从征信查询,单位名称不一致应为:xxxxx公司,请及时变更;主办单位证件号码有误,请及时变更备案主体资料:使用统一社会信用代码 xxxxxxT 原因:一般是因为单位更名、法人变更、营业执照升位、更换统一代码导致的。

百家号指数如何提升计算方式是什么

为了让百家号作者更方便地了解自己所运营账号的表现和创作内容的投放效果,同时获得更多的推荐和权益,我们推出了百家号指数。 百家号指数是通过对作者的内容质量、领域专注、活跃表现、原创能力、用户喜爱,五个维度的计算而得出的客观评分结果。分数越高,代表账号的质量越好,越能获得更多的权益。

西部数码云主机怎么绑定域名

云主机怎么绑定域名?购买了云主机以后要建网站的话,我们肯定需要将服务器进行域名的绑定和解析,这里介绍下西部数码的云主机怎么进行域名绑定。

云服务器放几个网站好

西部数码一个云服务器可以放几个网站?理论上来说,一台云服务器能绑定的网站数量不限,但性能上面是有差别的。而且在实际应用中,云服务商一般会对一台服务器可绑定的域名数量做出限制,所以云服务器能放的网站数是有限的。

睢宁卷帘门厂家推荐

安尚邦门业作为徐州睢宁卷帘门厂家自创办以来始终以顾客为中心,以市场为导向、以品牌为核心的设计制造防火卷帘门、抗风卷帘门、水晶卷帘门、工业提升门、PVC快速门等相关产品的企业。公司现投放市场的各种防火卷帘门系列产品, 外观及自动化程度均已达到国内标准水平,产品销往全国各地。

网站建设推广方案

策划网站建设推广方案是为达到一定的营销目标而制定的综合性的、具体的可操作的网络营销策略和活动计划。一份完整的以网站为基本网络营销平台的网络营销策划方案必须包括以下几个基本要素:网站诊断分析、网站优化、综合网络推广、网络营销培训、收费形式、经典案例、联系我们等七大模块。