攻防世界web Training-WWW-Robots writeup
题目描述见上；
根据题目要求我们学习robots协议相关知识。
robots.txt：
该协议将告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
所以使用搜索引擎的时候通过散布spider进行获取网站内容时，spider会先检索是否有robots.txt文件，如果有，那么spider将会根据该文件中的限制进行检索。
于是我们在在线环境url后输入/robots.txt查看该文件
发现它不允许/fl0g.php这个文件被检索刀，那么我们在地址栏中输入这个文件名进行进入。
拿到flag。