工具如何选择爬虫分组？

工具会合并所有 User-agent 与输入产品令牌完全匹配的分组，匹配时不区分大小写。只有不存在精确分组时才会合并通配分组，不会把通配规则叠加到精确分组。

最终生效的 robots.txt 规则如何确定？

匹配从路径第一个八位组开始，查询参数也会参与。匹配模式最长的规则优先；匹配长度相同时 Allow 优先。工具支持 * 和位于末尾的 $。

支持。工具会按照 RFC 的百分号编码比较规则处理网址：解码已编码的非保留 ASCII 字符，把 Unicode 转成 UTF-8 八位组，保留查询参数并移除片段。

不会。请直接粘贴要检查的内容。这个静态浏览器工具不会调用 fetch 或 XMLHttpRequest，从而避免跨域和远程内容风险。

不能。robots.txt 只是请求守规爬虫不要访问某些网址，既不验证请求身份，也不会阻止直接访问。敏感内容必须使用真正的授权机制保护。

粘贴 robots.txt，输入爬虫产品令牌和网址，即可查看命中的分组以及最终生效的 Allow 或 Disallow 规则。测试完全在浏览器本地完成，不会抓取网站。

测试 robots.txt 判定

robots.txt 内容99 / 512000 UTF-8 字节

内容只在当前浏览器中解析，不会被抓取、上传或发送。

爬虫产品令牌只输入一个由字母、下划线或连字符组成的产品令牌，不要粘贴完整的 User-Agent 请求头。

要测试的网址或路径路径和查询参数会参与测试，#section 之类的片段会被移除。

这是抓取指引，不是访问控制

robots.txt 只是提供给守规爬虫的自愿性指引，不能验证用户身份、保护私密内容，也不能阻止浏览器直接访问。

测试结果

请粘贴文件，输入有效的产品令牌和网址或路径，然后开始测试。

这个 robots.txt 测试工具按照 RFC 9309 中受支持的判定流程运行：先选择精确匹配的产品令牌分组，仅在没有精确分组时使用通配分组，再规范化网址八位组并选择匹配长度最长的规则。粘贴的文件不会离开浏览器。

工具不会远程抓取网站的 /robots.txt，不会模拟真实爬虫，也不能确认搜索引擎是否已经刷新缓存。robots.txt 是抓取指引，不是安全边界。

工具如何选择爬虫分组？: 工具会合并所有 User-agent 与输入产品令牌完全匹配的分组，匹配时不区分大小写。只有不存在精确分组时才会合并通配分组，不会把通配规则叠加到精确分组。
最终生效的 robots.txt 规则如何确定？: 匹配从路径第一个八位组开始，查询参数也会参与。匹配模式最长的规则优先；匹配长度相同时 Allow 优先。工具支持 * 和位于末尾的 $。
支持编码网址和中文路径吗？: 支持。工具会按照 RFC 的百分号编码比较规则处理网址：解码已编码的非保留 ASCII 字符，把 Unicode 转成 UTF-8 八位组，保留查询参数并移除片段。
工具会从我的网站抓取 robots.txt 吗？: 不会。请直接粘贴要检查的内容。这个静态浏览器工具不会调用 fetch 或 XMLHttpRequest，从而避免跨域和远程内容风险。
robots.txt 能保护私密页面吗？: 不能。robots.txt 只是请求守规爬虫不要访问某些网址，既不验证请求身份，也不会阻止直接访问。敏感内容必须使用真正的授权机制保护。