最新Python3网络爬虫教程_崔庆才的个人站点 - Python爬虫教程

2022 年最新 网络爬虫教程

各位好，我是崔庆才，因为网络爬虫领域持续更新换代，部分过往的指导材料已经不再适用，实例也失去时效性，当前最先进的爬虫方法，例如非同步执行、反爬虫机制、安卓端逆向分析、智能化数据提取、海量数据并行处理等，不断涌现，我近期推出了一套全新的、内容极为丰富的网络爬虫教学资源。

本人自我推荐：到 2022 年为止，包含所有最新最完整的网络爬虫知识体系的课程，例如非阻塞式处理、反编译技术、安卓设备逆向分析、自动化数据提取、海量数据系统构建等等，市场上没有其他同类产品。

新版指南对既有网络数据采集方法做了彻底改进，构建了全新的示范站点进行细致阐释，确保实例运行可靠且不会失效。

教程请移步：

【2022 版】 网络爬虫学习教程

如下为原文。

1.什么是爬虫

网络爬虫，也就是大家常说的网络蜘蛛，可以想象成在互联网中不断行进的探测器，整个网络就像一张巨大的网，而爬虫就是在这张网上四处游走的探测器，当它发现有用的信息时，就会将其收集起来，要收集什么内容，这个由使用者来决定，比如它正在获取一个网页的数据，在这个过程中，它通过超链接找到了新的路径，实际上就是另一个网页的链接，这样它就能跳转到其他网页上继续搜集信息这个巨大的网整体连着，对蜘蛛而言，它很容易就能够到，几分钟之内就能轻松下来。

2.浏览网页的过程

上网时，屏幕上常会展示出许多精美的图像，例如 ，会呈现若干张的图片和百度搜索栏，这个情形其实源于用户键入网址之后，通过DNS服务器，寻找到服务器主机，向服务器发出一个指令，服务器经过处理后，将HTML、JS、CSS等资料发送给用户的浏览器，浏览器进行解读，用户便能观赏到各式各样的图像了。所以，网页的真正形态源自于 HTML 编码，网络爬虫抓取的正是这些信息，经由解析并筛除 HTML 编码，能够达成对图像、文本等素材的采集。

3.URL的含义

网址就是统一资源定位符，这个术语也称作网址，它是一种简洁的表述方式，用来指示互联网上标准资源的位置和访问方法，是互联网上资源的地址标识。每个文件在互联网上都有专属的统一资源定位符，其中包含的信息能够明确文件存放的位置，同时告知浏览器如何对文件进行解析。

网址的结构包含三个主要构成要素，首先，它由一个协议类型构成，这个协议类型也代表了服务的方式，其次，它包含一个存放相关资源的服务器地址，这个地址有时也会附带端口号信息，最后，它指明了服务器上资源的确切位置，比如具体的文件夹路径和文件名称等。

网络爬虫在采集信息时，必须有一个指定的网址作为参考，才能成功获取内容，这个网址是爬虫工作的根本出发点，透彻掌握它的概念，对爬虫技术的掌握大有裨益。

4. 环境的配置

学习过程中，环境准备必不可少，起初我尝试了++，但很快意识到它的辅助说明能力非常有限，因此，我更换了工具，在Linux系统上采用了for，同时，还有其他几款值得关注的集成开发环境，如果想了解更多选择，可以查阅这篇文章推荐的IDE。优质的编程辅助工具是进步的助推器，期待各位能寻得契合心意的集成开发环境，接下来，我们将正式开启网络爬虫知识的学习旅程，各位朋友是否已做好充分准备？