robot文件创建

Robots.txt是一个简单的文本文件，位于网站的根目录中。它告诉“机器人”（例如搜索引擎蜘蛛）在您的网站上爬取哪些页面，忽略哪些页面。虽然Robots.txt文件不是必须的，但Robots.txt文件可让您对Google和其他搜索引擎如何查看您的网站进行控制。如果使用得当，可以改善wordpress网站的抓取效果甚至影响SEO。