没有扩展
问题描述:
不允许文件我目前做这与htaccess的没有扩展
RewriteRule ^view$ view.php [L]
我链接到/view
没有扩展名,它工作正常。 但是,如何从索引/view
禁用机器人?在robots.txt
我把
Disallow: /view.php
Disallow: /view
当我进入网站管理员工具,我抓取谷歌。我可以获取mydomain.com/view
,但这不会发生,但是当我尝试获取mydomain.com/view.php
时,它说被robots.txt阻止,这很好。
如何禁止从机器人访问/view
?
答
线
Disallow: /view
应该阻止像URL:
example.com/view
example.com/view/
example.com/view/foobar
example.com/view.php
example.com/viewer
如您所见,根本不需要Disallow: /view.php
。
所以似乎有一个不同的问题。这是最近的变化吗?也许Google会缓存一个较旧的robots.txt版本。我不知道这个抓取工具,但也许这个问题与重定向有关?我猜想Google抓取工具应该重定向到/view.php
。