Disallowrobots.txt
robots.txt是一个纯文本文件，专为搜索引擎爬虫设计，特别是百度蜘蛛。它并不直接影响用户，而是爬虫在访问网站时的首要参考。这个文件告诉百度爬虫哪些页面可以被访问，哪些应该被收录，以及哪些应被排除在收录范围之外。对SEO优化来说，合理设置robots.txt文件有助于给搜索引擎留下良好的印象。它应放置在网站根目录下，文件名应全小写。
robots.txt的主要功能在于维护网站安全和隐私，允许网站自主控制搜索引擎的访问权限。通过在根目录创建robots.txt，站点可以明确标识哪些页面不希望被百度爬虫抓取和收录。每个网站都有权利决定百度蜘蛛是否可以访问，或者指定特定内容的收录。当爬虫访问网站时，首先会查找根目录下的robots.txt，如果没有，它会继续沿着链接抓取；若存在，会依据文件内容调整抓取策略。
robots.txt文件的格式如下：
User-agent: 定义搜索引擎类型（例如，针对百度的应写为"User-agent: Baiduspider"）
Crawl-delay: 定义抓取延迟时间（例如，"Crawl-delay: 10"表示每10秒抓取一次）
Disallow: 禁止搜索引擎访问的URL（例如，"Disallow: /private/"表示禁止访问私有页面）
Allow: 允许搜索引擎访问的URL（例如，"Allow: /public/"表示允许访问公共页面）
多重随机标签