以下代码是禁止直接访问，但匹配并排除搜索引擎蜘蛛
nginx站点配置文件中加入以下节点：
location = /robots.txt {
if ($http_user_agent !~* "spider|bot|yahoo|sogou") {
return 404;
}
}
1
2
3
4
5
location = /robots.txt {
if ($http_user_agent !~* "spider|bot|yahoo|sogou") {
return 404;
}
}
然后重载nginx配置
/usr/local/shuyangwang/nginx/sbin/nginx -s reload (此配置文件路径以你安装为准)
