Apache在Ubuntu上如何配置防盗爬虫_运维文库_资讯中心

发布时间:2026-04-28 16:21:16

阅读量:4

在Ubuntu上配置Apache服务器以防止爬虫访问，可以通过以下几种方法实现：

方法一：使用`.htaccess`文件

创建或编辑.htaccess文件：在你的网站根目录下创建一个名为.htaccess的文件（如果已经存在，则直接编辑它）。
添加防盗链规则：在.htaccess文件中添加以下内容来阻止未经授权的爬虫访问：
```
    RewriteEngine On
    RewriteCond %{HTTP_REFERER} !^http://(www\.)?yourdomain\.com [NC]
    RewriteRule \.(jpg|jpeg|png|gif|ico)$ - [F,L]
```
这段代码的意思是：如果请求的Referer头不是来自你的域名，则拒绝访问图片文件。你可以根据需要调整文件类型和域名。
重启Apache服务器：保存.htaccess文件后，重启Apache服务器以使更改生效：
```
sudo systemctl restart apache2
```

方法二：使用`mod_security`

安装mod_security：如果你还没有安装mod_security，可以使用以下命令进行安装：
```
sudo apt-get update
sudo apt-get install libapache2-mod-security2
```
启用mod_security：启用mod_security模块：
```
sudo a2enmod security2
```
配置mod_security规则：编辑/etc/modsecurity/modsecurity.conf文件，添加防盗链规则。例如：
```
SecRule REQUEST_URI "@rx \.(jpg|jpeg|png|gif|ico)$" \
    "id:123456,\
    phase:2,\
    deny,\
    status:403,\
    log,\
    msg:'Access to images is denied'"
```
这段代码的意思是：如果请求的URI匹配图片文件类型，则拒绝访问并返回403状态码。
重启Apache服务器：保存配置文件后，重启Apache服务器以使更改生效：
```
sudo systemctl restart apache2
```

方法三：使用`robots.txt`

创建或编辑robots.txt文件：在你的网站根目录下创建一个名为robots.txt的文件（如果已经存在，则直接编辑它）。
添加爬虫规则：在robots.txt文件中添加以下内容来阻止特定爬虫访问：
```
User-agent: *
Disallow: /
```
这段代码的意思是：阻止所有爬虫访问你的网站。你可以根据需要调整User-agent和Disallow规则。
上传robots.txt文件：将robots.txt文件上传到你的网站根目录。

注意事项

防盗链规则：防盗链规则可能会误伤一些合法的爬虫，因此需要谨慎配置。
mod_security规则：mod_security规则较为复杂，建议先在测试环境中进行测试，确保不会影响正常用户的访问。
robots.txt：robots.txt文件只是一个建议，遵守与否取决于爬虫开发者，因此不能完全依赖它来防止爬虫。

通过以上方法，你可以在Ubuntu上配置Apache服务器以防止爬虫访问。选择适合你需求的方法进行配置即可。

以上就是关于“Apache在Ubuntu上如何配置防盗爬虫”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm