使用Burp爬取网站页面
目录
4. Burp Suite的Chromium Browser进入靶机
5. 右键单击bWAPP文件夹，选择“spider this branch”
一-Burp Suite 的安装
Burp Suite是一款集成化的渗透测试工具，包含了很多功能，可以帮助我们高效地完成对Web应用程序的渗透测试和攻击。
Burp Suite由Java语言编写，基于Java自身的跨平台性，使这款软件学习和使用起来更方便。Burp Suite不像其他自动化测试工具，它需要手工配置一些参数，触发一些自动化流程，然后才会开始工作。
Burp Suite可执行程序是Java文件类型的jar文件，免费版可以从官网下载。免费版的Burp Suite会有许多限制，无法使用很多高级工具，如果想使用更多的高级功能，需要付费购买专业版。专业版与免费版的主要区别有以下三点。
- Burp Scanner
- 工作空间的保存和恢复
- 拓展工具，如Target Analyzer、Content Discovery和Task Scheduler
burp suite就是一个抓包、改包工具
Burp的安装一共分为三步：
1、java的安装
2、环境变量的配置
3、运行burp
Burp是一个和zap具有类似功能的一个工具，它的功能不仅仅是爬取页面，本节只介绍信息收集，所以只介绍Burp的爬取功能。
1. 靶场&靶机
靶场：OWASP BWA
靶机：bWAPP
2. 进入靶场的方法
2.1 开启OWASP BWA靶场
2.2 在kali linux中打开Burp Suite Community
2.3 在Burp Suite中的Proxy模块中打开browser
提示以下错误：
点击Proxy settings
再次点击“Open Browser”,即可打开Burp Suite的Chromium Browser。
4. Burp Suite的Chromium Browser进入靶机
5. 右键单击bWAPP文件夹，选择“spider this branch”
发现找不到“spider this branch”
一些书及资料上有，如下图示：
问题：为什么找不到呢？
回答：大约从BurpSuite2020开始，好像就找不到爬虫的的选项卡了！
问题：怎么办？
回答：下面尝试一下Burp Suite Community Edition 2023隐藏的爬虫功能：
6. 在kali linux中对文件夹bWAPP单击右键选择Engagement tools，发现此处提示【Pro version only】，因此无法使用Community Edition完成该实验！！！
Engagement 英[ɪnˈɡeɪdʒmənt] n.订婚（期）; 约会; 交战
The general tried to avoid an engagement with the enemy.
将军竭力避免与敌军交火。
使用Burp Suite Pro Edition 2021.10完成该实验
二：总结
Burp Suite 是用于攻击web 应用程序的集成平台。它包含了许多工具，并为这些工具设计了许多接口，以促进加快攻击应用程序的过程。所有的工具都共享一个能处理并显示HTTP 消息，持久性，认证，代理，日志，警报的一个强大的可扩展的框架。本文主要介绍它的以下特点：
1.Target(目标)——显示目标目录结构的的一个功能
2.Proxy(代理)——拦截HTTP/S的代理服务器，作为一个在浏览器和目标应用程序之间的中间人，允许你拦截，查看，修改在两个方向上的原始数据流。
3.Spider(蜘蛛)——应用智能感应的网络爬虫，它能完整的枚举应用程序的内容和功能。
4.Scanner(扫描器)——高级工具，执行后，它能自动地发现web 应用程序的安全漏洞。
5.Intruder(入侵)——一个定制的高度可配置的工具，对web应用程序进行自动化攻击，如：枚举标识符，收集有用的数据，以及使用fuzzing 技术探测常规漏洞。
6.Repeater(中继器)——一个靠手动操作来触发单独的HTTP 请求，并分析应用程序响应的工具。
7.Sequencer(会话)——用来分析那些不可预知的应用程序会话令牌和重要数据项的随机性的工具。
8.Decoder(解码器)——进行手动执行或对应用程序数据者智能解码编码的工具。
9.Comparer(对比)——通常是通过一些相关的请求和响应得到两项数据的一个可视化的"差异"。
10.Extender(扩展)——可以让你加载Burp Suite的扩展，使用你自己的或第三方代码来扩展Burp Suit的功能。
11.Options(设置)——对Burp Suite的一些设置
测试工作流程
Burp支持手动的Web应用程序测试的活动。它可以让你有效地结合手动和自动化技术，使您可以完全控制所有的BurpSuite执行的行动，并提供有关您所测试的应用程序的详细信息和分析。 让我们一起来看看Burp Suite的测试流程过程吧。 如下图
简要分析
代理工具可以说是Burp Suite测试流程的一个心脏，它可以让你通过浏览器来浏览应用程序来捕获所有相关信息，并让您轻松地开始进一步行动，在一个典型的测试中，侦察和分析阶段包括以下任务：
手动映射应用程序-使用浏览器通过BurpSuite代理工作，手动映射应用程序通过以下链接，提交表单，并通过多步骤的过程加强。这个过程将填充代理的历史和目标站点地图与所有请求的内容，通过被动蜘蛛将添加到站点地图，可以从应用程序的响应来推断任何进一步的内容(通过链接、表单等)。也可以请求任何未经请求的站点(在站点地图中以灰色显示的)，并使用浏览器请求这些。
在必要是执行自动映射-您可以使用BurpSuite自动映射过程中的各种方法。可以进行自动蜘蛛爬行，要求在站点地图未经请求的站点。请务必在使用这个工具之前，检查所有的蜘蛛爬行设置。
使用内容查找功能发现，可以让您浏览或蜘蛛爬行可见的内容链接以进一步的操作。
使用BurpSuite Intruder(入侵者)通过共同文件和目录列表执行自定义的发现，循环，并确定命中。
注意，在执行任何自动操作之前，可能有必要更新的BurpSuite的配置的各个方面，诸如目标的范围和会话处理。
分析应用程序的攻击面 - 映射应用程序的过程中填入代理服务器的历史和目标站点地图与所有的BurpSuite已抓获有关应用程序的信息。这两个库中包含的功能来帮助您分析它们所包含的信息，并评估受攻击面的应用程序公开。此外，您可以使用BurpSuite的目标分析器报告的攻击面的程度和不同类型的应用程序使用的URL 。