查看 robots.txt、站点地图、跳转与页面分享标签。
读取 robots.txt,了解网站对爬虫的访问规则。
检查网站的 HTTP 跳转路径与最终地址。
读取网站 sitemap,查看页面发现入口。
查看页面包含的站内与外部链接。
查看标题、描述、canonical 与社交分享标签。
结果来自检测时可访问的公开信息,需结合网站预期配置和网络情况判断。