robots.txt检测：在线验证爬虫规则

发布时间：2026-04-28 | 阅读时长：约3分钟

网站一直不被收录——可能是robots.txt写错了。

常见错误

⚠️ robots.txt改错可能导致搜索引擎停止收录。