如何使用 rel=”canonical” 及其他方法指定规范网址 若要向 Google 搜索指定重复网页或非常相似网页的规范网址，您可以使用多种方法指明您更愿意使用哪个网址。这些方法按照其对规范化的影响程度排列如下： 重定向：强信号，表明重定向的目标应成为规范网址。 rel="canonical" link 注释：强信号，表明所指定的网址应成为规范网址。 站点地图包含：弱信号，有助……更多
2026年03月07日
什么是规范化 规范化是指选择一段内容的有代表性的规范网址的过程。因此，规范网址是指 Google 从一组重复网页中选出的最具代表性的网页的网址。此过程通常称为重复信息删除，有助于 Google 在搜索结果中仅显示重复内容的一个版本。 网站包含重复内容的原因有很多： 区域变体：例如，面向美国和英国的一段内容可通过不同的网址访问，但实质上是同一语言的相同内容 设备变体……更多
2026年03月07日
Google 如何解读 robots.txt 规范 Google 的自动抓取工具支持 REP（robots 协议）。这意味着，在抓取某一网站之前，Google 抓取工具会下载并解析该网站的 robots.txt 文件，以提取关于网站中哪些部分可以被抓取的信息。REP 不适用于由用户控制的 Google 抓取工具（例如 Feed 订阅），也不适用于用来提高用户安全性的抓取工具（例如恶意软件分析）。 本页介绍了 Google 对 R……更多
2026年03月07日
更新 robots.txt 文件 如果您使用了 Wix 或 Blogger 等网站托管服务，则可能无需（或无法）直接修改 robots.txt 文件。您的托管服务提供商可能会通过显示搜索设置页面或借用其他某种方式，让您告知搜索引擎是否应抓取您的网页。如果您想向搜索引擎隐藏/取消隐藏您的某个网页，请搜索以下说明：如何在托管服务上修改网页在搜索引擎中的可见性，例如搜索“Wix 向搜索引擎隐藏网……更多
2026年03月07日
如何编写和提交 robots.txt 文件 如果您使用了 Wix 或 Blogger 等网站托管服务，则可能无需（或无法）直接修改 robots.txt 文件。您的托管服务提供商可能会通过显示搜索设置页面或借用其他某种方式，让您告知搜索引擎是否应抓取您的网页。如果您想向搜索引擎隐藏/取消隐藏您的某个网页，请搜索以下说明：如何在托管服务上修改网页在搜索引擎中的可见性，例如搜索“Wix 向搜……更多
2026年03月07日
robots.txt 简介 robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求；它并不是一种阻止 Google 抓取某个网页的机制。若想阻止 Google 访问某个网页，请使用 noindex 禁止将其编入索引，或使用密码保护该网页。 如果您使用了 Wix 或 Blogger 等 CMS，则可能无需（或无法）直接修改 robots.txt 文件。您的 CMS 可能……更多
2026年03月07日
您可以验证访问您服务器的网页抓取工具是否确实是 Google 抓取工具，例如 Googlebot。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者在访问您的网站，则会发现该方法非常有用。 Google 抓取工具分为三类： 类型 说明 反向 DNS 掩码 IP 范围 常见抓取工具 用于 Google 产品的常见抓取工具（例如 Googlebot）。它们始终会遵循自动抓取的 robots.txt 规则……更多
2026年03月07日
减慢 Google 抓取速度 Google 抓取工具基础架构采用先进的算法来确定网站的最佳抓取速度。我们的目标是，每次访问您的网站时都尽可能多地抓取网页，但不会过多地占用服务器的带宽。在某些情况下，Google 抓取您的网站可能会给您的基础架构带来沉重负载，或在服务中断期间产生不必要的费用。为了避免这种情况，您可以决定减少 Google 抓取工具发出的请求数量。 了解导致抓取量……更多
2026年03月07日
Feedfetcher Google 使用 Feedfetcher 抓取 Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。 Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引；但是，如果 Feed 不符合 Atom 或 RSS 规范，仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理，下文列出了一些常见问题的解答。 如何请求 Google 不……更多
2026年03月07日
以下是关于 APIs-Google 用户代理（User Agent） 如何用于自己网站的详细说明，包括作用、配置方法和最佳实践： 1. APIs-Google 用户代理是什么？ 官方定义：Google 用于访问和缓存公共 API（如 JavaScript/CSS 文件）的专用爬虫，主要目的是优化网页渲染性能（特别是移动端和动态内容）。 典型场景： 预加载网页所需的 API 资源（如 Google Fonts、Ajax 请求结果） ……更多
2026年03月07日
APIs-Google 用户代理 APIs-Google 是 Google API 用于传递推送通知消息的用户代理。 应用开发者可以请求接收这些通知，这样就不必反复询问 Google 的服务器以了解他们感兴趣的资源是否发生了更改。为避免有人滥用此服务，Google 会要求开发者证明网域所有权，然后才允许他们注册相应网域的网址作为消息的接收位置。 APIs-Google 如何访问您的网站 APIs-Google 使用 HTTPS PO……更多
2026年03月07日
Google-Read-Aloud 是 Google Read Aloud 服务的用户代理。该服务借助文字转语音 (TTS) 技术为用户朗读网页内容。最终用户启用 TTS 功能后访问某一网页时，即会激活此服务。Google Go、Google 读一读、Google 应用中的 Read Aloud 和其他 Google 文字转语音服务都使用了 Read Aloud 服务。 抓取频率和行为 Google Read Aloud 是由用户请求触发的。它通过缓存网页结果来节省带……更多
2026年03月07日
Googlebot 是 Google 搜索使用的两种网页抓取工具的通用名称： Googlebot 智能手机版：模拟移动设备用户的移动版抓取工具。 Googlebot 桌面版：模拟桌面设备用户的桌面版抓取工具。 您可以通过查看请求中的 HTTP user-agent 请求标头来确定 Googlebot 的子类型。不过，这两类抓取工具都遵循 robots.txt 中的同一产品令牌（用户代理令牌），因此您无法通过使用 robots.txt ……更多
2026年03月07日
浏览帮助主题 关于发布商中心 发布商中心概览 什么是 Google 新闻 Google 搜索上的“新闻”功能是什么 什么是 Google 新闻编辑精选 管理发布内容 管理您组织的设置 管理用户的访问权限 关于 Google 新闻 各项 Google 产品中的新闻内容 Google 新闻中的排名 Google 新闻政策 测试对出版物做出的重大更改 评估 Google 新闻的影响 您在 Google 新闻中的搜索内容 添……更多
2026年03月07日
应如何寻求帮助？ 网址：https://support.google.com/news/publisher-center/?hl=zh-Hans&visit_id=638841280887473031-2140909823&rd=2#topic=9604348 浏览帮助主题 关于发布商中心 发布商中心概览 什么是 Google 新闻 Google 搜索上的“新闻”功能是什么 什么是 Google 新闻编辑精选 管理发布内容 关于 Google 新闻 您在 Google 新闻中的搜……更多
2026年03月07日
发布商中心概览 Publisher Center 可帮助发布商通过 Reader Revenue Manager 配置创收解决方案并管理其 Google 新闻编辑精选设置。 前往发布商中心 功能 如需设置发布内容，您可以使用一些基本功能： 常规：您可以添加： 出版物的基本信息 发布内容总部所在地点的详细信息 对网站资源网址的验证 发布内容的详细联系信息 切换发布内容和组织 如果您在 Publisher Cente……更多
2026年03月07日
Google 用户触发的抓取工具列表 bookmark_border 用户触发的抓取工具由用户启动，以在 Google 产品中执行抓取功能。例如，Google 网站验证工具会根据用户的请求执行操作，或者 Google Cloud (GCP) 上托管的网站具有允许网站用户检索外部 RSS Feed 的功能。由于是用户请求的抓取，因此这些抓取工具通常会忽略 robots.txt 规则。Google 抓取工具的常规技术属性也适用于用户触发……更多
2026年03月07日
如果在被抓取的网站与产品之间就抓取过程达成协议，特定 Google 产品就会使用特殊爬虫。例如，AdsBot 会在广告发布商许可的情况下忽略全局 robots.txt 用户代理 (*)。Google 抓取工具的常规技术属性也适用于特殊爬虫。 特殊情况下的抓取工具可能会忽略 robots.txt 规则，因此使用的 IP 范围不同于常见抓取工具。这些 IP 范围发布在 special-crawlers.json 对象中。 特殊爬虫……更多
2026年03月07日
