一、扫描原因
(1)寻找到网站后台管理
(2)寻找未授权界面
(3)寻找网站更多隐藏信息
(4)通过使用目录扫描可以让我们发现这个网站存在多少个目录,多少个页面,探索出网站的整体结构。通过目录扫描我们还能扫描敏感文件,后台文件,数据库文件,和信息泄漏文件等等。
二、方法
1、robots.txt
(1)Robots协议(Robots Exclusion Protocol)“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
(2)同时也记录网站所具有基本的目录。
2、搜索引擎
(1)搜索引擎会爬取网站下目录,并且不需要触碰网站任何防御设备
(2)语法: site:
3、使用爆破工具
(1)通过字典匹配网站是否返回相应正确状态码,然后列出存在的目录。
(2)爆破可能会触发网站防火墙拦截规则,造成lP封禁。
(1)爆破工具—dirb
(1)DIRB是一个Web内容扫描程序
(2)通过字典查找WEB服务器的响应
(3)DRIB只能扫描网站目录不能扫描漏洞
(4)参数:-a设置User-Agent
-x XXX在每个词后增加XXX后缀,比如“.html" . ".php"
-z number延迟多少毫秒后,再发包。比如间隔1秒发包, -z 1000
-b不扫描../或者./
-c设置Cookie
-E设置证书文件
-o outfile_file保存扫描文件
(5)使用
(2)爆破工具—dirbuster
DirBuster多线程Java应用程序。
(1)主要扫描服务器上的目录和文件名
(2)扫描方式分为基于字典和纯爆破
(3)OWASP下开源项目
(4)字典爆破使用步骤:
开启dirbuster工具
(3)爆破工具—御剑