# 兆伸讲师网 robots.txt # 运营:沈阳兆伸教育科技有限公司 · https://www.xinfind.com # 规范:https://www.robotstxt.org/ · AI 爬虫边界另见 /ai.txt User-agent: * Allow: / # 隐私 / 管理 / 内部数据 —— 任何搜索引擎(含 AI 引擎)均不索引 Disallow: /admin/ Disallow: /member/ Disallow: /data/ Disallow: /api/ Disallow: /inc/ Disallow: /logout.php Disallow: /login.php Disallow: /register.php Disallow: /compare.php Disallow: /*?token= Disallow: /*?uid= Disallow: /_shots/ # 上面拦的是 data 里的业务 JSON;Logo、讲师形象照、试听二维码、文章配图都是页面上公开展示的图片, # 不单独放行就会被一并挡掉,搜索引擎抓不到 og:image 与 JSON-LD logo, # 图片收录和实体识别都会缺证据 Allow: /data/logo/ Allow: /data/avatar/ Allow: /data/demo/ Allow: /data/content/ # 站点地图(两份路径都写,覆盖不同搜索引擎的读取习惯) Sitemap: https://www.xinfind.com/sitemap.php Sitemap: https://www.xinfind.com/sitemap.xml Sitemap: https://www.xinfind.com/sitemap.txt