【攻防世界】CTF web新手03 robots协议

【攻防世界】CTF web新手03 robots协议

什么是robots协议？

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

具体内容可看：https://blog.****.net/zhangyingchengqi/article/details/83348900

对于第三题，同样非常简单
先打开题目场景
发现空空如也，联系题目，让我们给小宁讲讲robots协议，那么我们首先打开robots.txt

发现网站不让我们抓取这个php，接下来我们访问这个php文件
得到了flag