robot.txt 学习 1、什么是robot.txt? 是存放在站点根目录下的一个纯文本文件,用户搜索引擎的爬虫脚本,文件内容描述了你的网站哪些页面可以被抓取,哪些页面不能被抓取。 继续阅读→ 阅读全文