EnderWolf 在 AI时代开发爬虫/自动化脚本抓包分析 - 基于 Har 中发帖
# AI时代开发爬虫/自动化脚本抓包分析 - 基于 Har
## 前言
进入2026下半年,进行爬虫或自动化脚本开发时,Reqable、Fiddler 或浏览器 Dev Tools 依然是我们的标准配置。这些工具能帮人类可视化地分析HTTP请求,但在AI Agent时代,**AI并不需要可视化,它需要的是高密度的结构化上下文**。”
这些工具确实可以帮助我们可视化地对HTTP请求进行分析,但在AI Agent时代,AI并不需要可视化。你会用什么工具去抓包分析呢?
可能你会想到用一些MCP/Skills去帮助你,比如用于控制浏览器的Web Access/Browser Use或者是Firecrawl/Crawl4AI这种转结构化数据的工具。
我觉得这些都不能很好的满足我的需求,前者这种让AI自己去控制我们的浏览器,每做一步AI都要去思考一下,然后再进行下一步操作浏览器,很费时,To...