阳子SEO博客

robots是什么,robots怎么写?

  了解有关robots的更多信息

  搜索引擎使用蜘蛛程序自动对Internet上的网页进行建模并获取网页信息。当Spider访问网站时,主页会检查网站根域名下是否存在纯文本(称为robots.txt)。此文件用于指定网站上蜘蛛的爬网范围。您可以在网站上创建robots.txt,然后在文件中声明搜索引擎不会包含该网站中的哪些目录。 (robots.txt文件应放置在网站根目录中。)

robots是什么,robots怎么写?


  1、robots用法

  用户代理:定义基本搜索引擎名称,例如:百度(Baiduspider),谷歌(Googlebot),360(360Spider)等。*表示所有搜索引擎不允许:不允许包含

  允许:允许包含

  案件:

  User-agent: *(声明禁止所有搜索引擎抓取以下内容)

  禁止:/blog /(禁用网站博客部分下的所有页面。例如:/blog/123.html)

  禁止:/api(例如:/apifsdfds/123.html也将被阻止。)

  Allow:/blog/12 /(通常情况下,没有必要编写Allow,并且我们在被禁止的目录中,我们需要包含搜索引擎,那么我们可以使用Allow,例如,我们之前已禁止所有Page ,同时我们希望将其包含在/12 /列下,这时,我们需要允许搜索引擎通过允许将其包含在内。)

  不允许: *? *(只要您的路径中有问号,该路径将被阻止。例如:https://wenda.ssffx.com/?expert/default.html将被阻止。)

  禁止:/*。php $(表示所有以.php结尾的路径均被阻止。)

  如何使用robots提升排名

  一、阻止死链接

  很多时候,我们的网站会生成无效链接,例如:网站修订,文章删除等,可能会导致该网站显示404页,这时我们需要通过robots阻止这些无效链接。有两种查看无效链接的方法:

  1、)通过网站日志查询。

  我们可以通过下载网站日志来查看404页面。造访过,那么这段时间将被网站日志记录下来。

  2、)百度网站管理员平台查询

  我们首先需要验证百度网站管理员平台(最基本的我们不会说如何进行验证。)验证之后,我们可以通过百度网站管理员工具的无效信息清楚地看到我们网站上的无效信息链工具。链接。

  二、阻止毫无价值的页面

  许多网站都有一些毫无价值的页面,例如SEO指导中心的用户个人中心页面。此个人中心页面不会为网站增加价值,并且百度上的显示不会增加网站的重量。因此,我们需要使用漫游器来阻止此类页面。另一个示例:公司网站的“与我们联系”页面,此页面不会增加网站的权重,用户也不会搜索“与我们联系”来查找所需的产品。因此,我们需要同时阻止这些页面。

  三、屏蔽重复路径

  如果您的网站路径重复,则百度将直接删除我们的网站。例如,网站是伪静态的,还可以访问其动态页面。此时,将出现一条重复路径。因此,我们需要通过robots阻止这些重复的路径。

  摘要:也许很多人不知道,许多细节很可能是您的网站未排名的原因,而这些小细节经常被所有人忽略。同时,我希望网站管理员在进行网站优化时会更多地关注网站的一些细节。


cache
Processed in 0.010133 Second.