链接：https://adworld.xctf.org.cn/task/answer?type=web&number=3&grade=0&id=5063&page=1
禁止搜索引擎收录的方法（robots.txt）
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。而robots文件应该放在网站的根目录下面，比如说如果自己搭建了一个LAMP环境的网站，那么网站的默认根目录是在/var/www/html下面的。如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
所以这题直接查看网站的robots.txt
得到flag的php文件，直接打开就得到了flag。
来源：https://www.cnblogs.com/wushengyang/p/12175601.html