1. 网络爬虫第一部做什么?当然是目标站点分析

   Chrome

   Chrome属于网络爬虫的基础工具，一般咱们用它做初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤等。咱们初期的大部分工作都在它上面完成，打个不恰当的比喻，不用Chrome，咱们就要从智能时代倒退到马车时代

   同类工具： Firefox、Safari、Opera

2. Charles

   Charles与Chrome对应，只不过它是用来做App端的网络分析，相较于网页端，App端的网络分析较为简单，重点放在分析各个网络请求的参数。当然，如果对方在服务端做了参数加密，那就涉及逆向工程方面的知识，那一块又是一大箩筐的工具，这里暂且不谈

   同类工具：Fiddler、Wireshark、Anyproxy

   接下来，分析站点的反网络爬虫

3. 3

   Postman

   当然，大部分网站不是你拷贝一下cURL链接，改改其中参数就可以拿到数据的，接下来咱们做更深层次的分析，就需要用到Postman“大杀器”了。为什么是“大杀器”呢?因为它着实强大。配合cURL，咱们可以将请求的内容直接移植过来，然后对其中的请求进行改造，勾选即可选择咱们想要的内容参数，非常优雅

4. 4

   cUrl

   cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。

   在做网络爬虫分析时，咱们经常要模拟一下其中的请求，这个时候如果去写一段代码，未免太小题大做了，直接通过Chrome拷贝一个cURL，在命令行中跑一下看看结果即可

        雷神HTTP代理IP平台专业提供HTTP代理IP服务，其中的动态高质量代理重点推荐，多年来服务了很多顾客朋友，高效稳定的质量，受到了一致的好评。雷神HTTP代理IP将会继续努力，为广大顾客提供更优质的产品！咨询QQ：800821230，网址：www.leishenhttp.com