AI 搜索收录
OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 用于发现或改进搜索结果。阻止它们可能减少网站在相应 AI 搜索产品中的可见机会。
Live Check
检查网站的 AI 可见性配置
检测首页、robots.txt、sitemap.xml 和 llms.txt。结果说明规则是否允许访问，但不能替代各平台真实爬虫 IP 或 WAF 日志核验。
正在读取网站公开配置并解析各类爬虫规则...
Separate The Controls
为什么要分开检查这些爬虫
用户请求访问
Claude-User 等标识用于用户发起的网页读取。它与后台批量建索引、模型训练不是同一类用途。
模型训练控制
GPTBot、ClaudeBot 和 Google-Extended 主要表达训练或相关数据使用偏好。允许搜索爬虫不代表必须同时允许训练爬虫。
广告页面验证
OAI-AdsBot 用于 ChatGPT 广告落地页验证。它不等同于 Google AdSense，也不决定普通网页能否被 ChatGPT 搜索收录。
检测依据与边界
本工具按照公开 robots.txt 规则解析域名首页 `/`，并展示命中的 User-agent 与 Allow/Disallow 指令。平台用途说明以各家公司当前官方文档为准。
需要先决定“允许搜索、限制训练”还是“按路径控制”时，请阅读AI 爬虫 robots.txt 配置指南，其中包含分用途对照表、配置模板和上线验证清单。
- OpenAI Publishers and Developers FAQ
- Anthropic crawler controls
- Google crawler documentation
- Perplexity crawler documentation
- llms.txt community proposal
“robots.txt 允许”只代表配置层面没有禁止。CDN、WAF、JavaScript 挑战、地区限制或服务端封禁仍可能阻止真实爬虫；本站不会冒充这些爬虫绕过网站防护。
常见问题
允许 GPTBot 是否等于能出现在 ChatGPT 搜索？
不等于。GPTBot 主要用于潜在模型训练控制；ChatGPT 搜索应重点检查 OAI-SearchBot，同时确保页面没有 noindex，并能被正常访问。
阻止 Google-Extended 会影响 Google 搜索排名吗？
Google 官方说明 Google-Extended 不影响 Google 搜索收录，也不是搜索排名信号。传统 Google 搜索访问由 Googlebot 等规则控制。
llms.txt 会提高 AI 搜索排名吗？
目前没有可靠依据。它仍是社区提案，可作为机器可读导航补充，但不能替代 robots.txt、sitemap、canonical、结构化数据和清晰的正文内容。
为什么工具不提供一个 GEO 或 AEO 总分？
不同平台的搜索、训练和用户访问目标并不相同，把它们压成单一分数会掩盖真实配置。本页直接展示可验证信号和命中的规则。
作者与维护
作者与维护：iphelp站长工具箱站长 核对方式：公网实测与官方资料 最后核对：2026年8月21日
本文依据公开协议、官方文档与本站实时检测结果维护。发现结果差异时，请通过反馈表单提供页面、现象与复现时间。