光盘容量计算步骤_Python数据分析

目录

第一章简介

1.1 发展背景

1.2 简介

1.3 特点

1.4 缺点

1.5 主要应用领域

第二章 爬虫技术

2.1 基于网络爬虫技术

2.1.1 网络爬虫技术概述

2.1.2 网络爬虫的分类

2.1.3 网络爬虫架构

2.1.4 网络爬虫架构流程

2.1.5 基于网络爬虫分析

2.2 模拟登录

2.2.1 模拟登录原理

2.2.2 模拟登录分析

第三章 实现简单爬虫实践

综上所述

第一章简介

1.1 发展背景

随着人工智能技术的兴起，传统的数据分析技术已经难以满足新技术的需求，被大数据时代的数据分析技术所取代。作为一种编程语言，它以其高度的封装性、灵活性以及丰富的第三方库资源在数据分析领域占据着重要的地位。

1.2 简介

它是一种具有动态数据类型的解释型、面向对象的高级编程语言。它比其他语言具有更独特的语法结构，如下所示：

它是一种解释型语言：这意味着开发过程中没有编译环节。类似于 PHP 和 Perl 语言。

是一种交互式语言：这意味着你可以在提示符>>>后直接执行代码。

是一种面向对象的语言：这意味着支持面向对象的风格或将代码封装在对象中的编程技术。

初学者语言：对于初学者来说是一种很棒的语言，它支持广泛的应用程序开发，从简单的文字处理到 WWW 浏览器再到游戏。

1.3 特点

1、易学：关键字相对较少，结构简单，语法明确，更容易学习。

2. 易于阅读：代码定义更加清晰。

3. 易于维护：其成功之处在于其源代码非常易于维护。

4.丰富的标准库：最大的优点之一是库丰富，跨平台，UNIX下，兼容性很好。

5.交互模式：通过交互模式支持，您可以输入语言执行代码并从终端获取结果，交互式测试和调试代码片段。

6. 可移植性：基于其开源性质，它已被移植（即可以工作）到许多平台。

7、可扩展：如果你需要一段运行速度快的关键代码，或者想写一些你不想公开的算法，你可以使用C或C++来完成那部分程序，然后从你的程序中调用它。程序。

8.数据库：提供所有主要商业数据库的接口。

9.GUI编程：支持GUI可以创建并移植到许多系统调用。

10.可嵌入：您可以将其嵌入到C/C++程序中，从而使您的程序的用户获得“脚本化”功能。

1.4 缺点

速度很慢。它的运行速度确实比C语言慢很多，也比JAVA慢；

代码无法加密，因为它是解释性语言，其源代码以文本形式存储；

不容易维护，因为它是一种动态类型语言。应用程序越大、越复杂，维护起来就越困难，因为错误很难跟踪和修复，因此需要经验和洞察力来了解如何设计代码或编写单元测试来简化可维护性。

线程无法利用多CPU的问题。 GIL，即全局解释器锁（Lock），是计算机编程语言解释器用来同步线程的工具，使得任何时候只有一个线程在执行，并且该线程是操作系统的本机线程。

1.5 主要应用领域

（1）云计算：模块化、灵活，采用构建云计算平台所用的IasS服务，其他云计算服务也基于IasS服务；

（2）WEB开发：拥有很多免费的数据函数库、免费的网页模板系统、与Web服务器交互的库。可以实现Web开发，构建Web框架。目前最著名的Web框架是。

(3)网络编程：提供丰富的模块支持编程，可以方便快捷地开发分布式应用程序。被许多大型软件开发项目广泛使用，如Zope、Mnet、

（4）爬虫开发：在爬虫领域，几乎占据主导地位。它以网络上的所有数据为资源，通过自动化程序进行有针对性的数据收集和处理。从事该领域的人应该学习爬虫策略、高性能异步IO、分布式爬虫等，并深入分析框架源码，了解其原理，实现定制化的爬虫框架。

（5）计算和数据分析：随着NumPy、SciPy等众多程序库的发展和完善，它越来越适合科学计算和数据分析。它不仅支持各种数学运算，还可以绘制高质量的2D和3D图像。与科学计算领域最流行的商业软件相比，Bi使用的脚本语言具有更广泛的应用范围，可以处理更多类型的文件和数据。

（6）人工智能：目前最热门、薪资最高的IT工作是从事人工智能领域的工程师。在人工智能广阔的领域，机器学习、神经网络、深度学习等都是主流的编程语言，并得到了广泛的支持和应用。最流行的神经网络框架，例如 和 。

（7）财务分析：财务分析包括财务知识及相关模块的学习。学习内容包括Numpy\\Scipy数据分析模块等，以及常见的金融分析策略如“双均线”、“周规则交易”、“羊驼策略”、“双重交易策略”等。

(8) 图形化GUI：PyQT，，

(9)自动化运维：是一种综合语言，可以满足大多数自动化运维需求。前端和后端都可以做。从事这一领域，要考虑设计水平、框架选型、灵活性、可扩展性、了解故障排除以及如何优化。

(10)科学运算：是一种非常适合科学计算的编程语言。自 1997 年以来，NASA 广泛使用它来执行各种复杂的科学操作。随着NumPy、SciPy等许多程序库的发展，它变得越来越流行。它越来越适合科学计算和绘制高质量的2D和3D图像。

（11）游戏开发：很多游戏使用C++编写图形显示等高性能模块，使用Lua或Lua编写游戏逻辑和服务器。相比之下，Lua 功能更简单，体积更小，但支持更多功能和数据类型。

第二章 爬虫技术

它是一种“胶水”语言，拥有丰富而强大的库，可以轻松地将其他语言的各种模块连接在一起，并且可以用来模拟浏览器进行爬虫操作。界面简单，易于操作。

2.1 基于网络爬虫技术

当今是大数据时代，各个领域都离不开数据的支撑。快速搜索数据并充分利用数据信息已成为一个巨大的挑战。为了解决这些问题，网络爬虫技术应运而生。利用网络爬虫技术可以快速提取数据。例如，QQ空间爬虫一天可以爬取400万条日志、谈话、个人信息等数据；知乎爬虫抓取各种主题的高质量答案；淘宝商品比价定向爬虫抓取商品、评论和销售数据。

2.1.1 网络爬虫技术概述

网络爬虫也称为网络蜘蛛或网络机器人。它是一种能够按照预定规则自动获取网页内容的程序脚本。根据实现的技术和结构可分为通用型、聚焦型、增量型、深度网络爬虫等类型。也就是说，它可以根据网页的链接地址自动获取网页的内容。

基本流程如下：

(1)向目标网站发起请求：通过http库向目标发起请求，即发送一个可以包含附加信息的请求，然后等待服务器响应。

(2) 获取响应内容：如果服务器能够正常响应，就会得到响应。内容就是你想要获取的页面内容。类型可能包括HTML、Json字符串、二进制数据（如图片、视频）等。

(3)内容分析：提取的数据可以以结构化格式存储，如词典、文本等，也可以以特定格式保存到数据库或文件中。论文使用soup对获得的数据进行分析，获取借款相关信息。

2.1.2 网络爬虫的分类

网络爬虫是一种按照一定规则自动从万维网上爬取信息的程序或脚本。网络爬虫按照系统结构和实现技术大致可以分为以下几种类型：

(1)通用网络爬虫。这类爬虫主要用在搜索引擎中。其爬取范围和数量巨大，爬取速度和存储空间要求较高，具有较强的应用价值。

(2)有针对性的网络爬虫。选择性地爬取预先定义的需求信息，大大节省硬件和网络资源，满足特定人群的特定需求。

(3)增量网络爬虫。仅在新页面生成或页面发生变化时才进行爬取工作，有效减少下载数据量以及时间和空间的消耗。

(4)深网爬虫。您需要注册登录或提交相应表单才能获取网页抓取数据。

2.1.3 网络爬虫架构

网络爬虫架构主要由三部分组成：网络爬虫调度端（负责启动网络爬虫主程序）；网络爬虫主程序；目标数据（抓取有价值的数据）。网络爬虫的主程序分为以下3部分：

(1)Url管理器：管理Url，包括已爬取的Url和需要爬取的Url。

(2)网页下载器：根据Url地址，将网页下载保存到本地，并存储为字符串。

(3)网页解析器：解析存储字符串中有价值的数据

2.1.4 网络爬虫架构流程

爬虫系统调度部分询问Url管理器，从一个或多个Url开始，将它们放入“待爬取”Url队列中。系统按照一定的顺序从队列中取出Url地址，发送到网页进行下载。服务器下载网页内容。调度器接收到从网页下载的内容后，将网页内容发送给网页解析器以捕获所需的内容。爬虫在爬取过程中，也会遇到Url，并在下载的Url队列中进行检查。如果之前没有被爬取过，并且确认是一个新的Url，则会将其放在Url队列的末尾等待爬取。上述过程循环进行，直到“待抓取”Url队列为空，停止抓取。

简单的爬虫框架

URL管理器：管理待爬取的URL集合和已爬取的URL集合。其作用是防止重复抓取和循环抓取。

网页下载器：将互联网上的URL对应的网页下载到本地计算机的工具

2.1.5 基于网络爬虫分析

(1) URL管理模块

Url管理模块的作用是对Url进行管理，包括已爬取的Url集合和尚未爬取的Url集合。 URL管理模块可以有效防止重复爬取和循环爬取的问题。

在中国实现网站管理有以下三种方式：

(1)存储在内存中，适用于Url数据较少的情况。它是使用Set()集合来实现的。 set()可以消除重复数据，避免重复抓取的问题。

(2)存储在关系数据库中，实现永久存储。创建一个 URL 表。该表中有两个字段。其中一个字段是Url地址，另一个字段用于指示该Url是否已被爬取。

（3）存储在缓存数据库redis中，适用于Url数据较多的情况。还可以使用Set()集合来访问“待爬取”的Url地址和“已爬取”的Url地址。

(2)网页解析器

Web解析器用于从网页中提取最初想要的数据。实际上提取了两部分：（1）Url列表； (2)目标数据。

有两种类型的网页解析器：

(1)使用正则表达式。正则表达式将网页视为字符串，仅适用于简单的网页。一般网页比较复杂的时候不使用这种方法。

(2)基于网页的DOM结构。 DOM树是一种树形标签结构。网页解析器将 HTML 文档视为一棵 DOM 树，并遍历其上下结构以提取有用的信息。树形结构可以用来定位网页中的特定信息，定位特定的节点、属性等。其中Soup解析器功能强大，也比较流行。 Soup使用()和find()方法来搜索节点。 ()可以找到所有符合查询条件的标签节点并返回一个列表。 find()方法查找第一个满足查询条件的标签节点。使用这两种方法来搜索节点并提取有价值的信息。

网页解析器：用于从网页中提取有价值数据的网页解析器有哪些类型：

结构化解析-DOM：

汤语法

例如：（href：超链接）

2.2 模拟登录

2.2.1 模拟登录原理

使用浏览器完成模拟登录。它是网站为了识别用户身份而保存在本地的文件。可用于判断登录用户是否合法。

当用户通过浏览器登录网站时，往往无法直接阅读所需的内容。他们还需要输入用户名和密码。有些网站还有验证码限制。只有输入正确后才能提交到服务器。返回包含数据的网页，

2.2.2 模拟登录分析

(一)结构

它是一个字典文件，存储了user-agen等信息。模拟登录时，带上参数，这样目标网站会误认为该程序是浏览器而不是爬虫，这样程序就会返回正确的信息，不会受到目标网站的限制。

（2）传递参数模拟登录并读取信息

第三章 实现简单爬虫实践