将Drupal robots.txt禁止仍记录在Apache日志文件？

Question

我在Drupal网站的特定代理中为robots.txt设置了一些规则。

我有一个问题。当这个代理试图访问网站时，这个访问是否仍然会记录在我的apache access_log文件中？

Answer 1

Disallow robots.txt在技术上不会阻止用户代理访问您的网站。每个用户代理都会决定是否要遵守robots.txt。

默认情况下，Drupal对robots.txt文件的内容不做任何处理，而robots.txt内容根本不会影响服务器的日志。