01
内容概要
本次课程的主要内容是爬虫基础原理扩展和开发工具的详细介绍，在实际进行爬虫之前需要对于爬虫涉及的一些术语进行介绍，并且需要对我们使用的360浏览器和谷歌浏览器做一个案例介绍。
另外我们中奖的书籍已经购买发出，希望大家喜欢，多多支持，多多转发。
02
基础原理
请求头
简单理解，我们的爬虫或者是我们的浏览器，想获得数据就需要向服务器发送请求，而请求头就是这个代码的头部信息，也是非常重要的信息。之前对于请求头有一个简单的介绍，具体的介绍大家可以百度进行搜索。
而在爬虫实践的过程中，请求头中有两个关键部分，user-agent,referer,简单来说user-agent就是使用者的工具，一般来说我们是用浏览器进行请求，但是在爬虫中，如果不设置就是通过python进行请求，而referer就是请求来自哪个页面的URL。
colokies
简单理解，就是我们浏览之后储存的文本信息，这样做的目的是储存已经浏览过的文本信息，方便之后的浏览。
浏览器
浏览器是我们进行爬虫的一个必备工具，专业来说叫我们爬虫开发的开发工具，浏览器算是一种通用爬虫，而我们进行爬虫开发的时候需要借助浏览器进行数据的定位，在第三次课的时候，用360给大家演示了网络请求背后的内涵，而我们的爬虫，其实也是这样，稍后，我们会用谷歌浏览器进行一个类似但是更详细的演示。
在上节课的内容里，我们通过右键后检查、审查元素，就可以进入开发者界面，这个界面一共有九个标签。具体在案例演示中给大家详解
03
案例演示
案例演示中，我们选择对虎扑体育的官网进行分析。前几步的操作和之前介绍的一致，我们打开谷歌浏览器，以任何姿势（搜索，直接输入网址等等）进入官网。
右键点击审查，则可以看到诸多信息，如下图
我们可以看到，在弹出的内容里面有9个分页可以进行查看，而这9个分页在网页开发中有着不同的作用，对于爬虫爱好者，只需要重点掌握其中的两个，第一是Network,第二是Elements
对于network和element两部分内容来说，我们核心要掌握的就是network。但是当大家打开开发者界面的时候，第一个引入眼帘的是Elements，所以我们先对Elements进行一个简单介绍，我们点击之后得到如下图（不点击理论上将显示的也是下图内容）。
不难发现，在Elements下面有两个部分，分别在左边和右边，左边是所有的HTML代码，而当我们点击任何一行代码的时候，右边都有三个部分，styles，computed,event listeners,大家可以点进去看其中的内容。
通过Network我们可以了解浏览器向服务器发送的所有请求的情况，包括了名称状态类型大小时间，而我们在爬虫的时候更关心的是发送请求后的得到的状态。
首先，我们对network的内容进行一个介绍，第一部分是customize and control devtool,也就是下图，简单来说就是调整用户外观和功能的工具，一般来说，我们蓝色的标志在中间，也就是之前页面下方显示开发者工具的内容，而为了放大图，我们选择了第一个，就是另外一张页面来看开发者工具。里面的英文内容大家自己领会，一般这个部分用的很少。
其次，是其中最大最核心的部分，也就是下方百分之80左右的内容，大家可以看到 name status type...一横排的内容，如下图
这部分就是Network的核心内容，叫做Request table,表面上看，我们可以看到每个请求的名字，状态，类型等等，在最下面，我们可以看到一共有多少个请求，我们可以知道，获取虎扑体育的界面的信息一共72个请求。
当我们点击任意一个请求的时候。里面会对请求的详细内容进行介绍，有请求头，有请求类型，回应的信息，COOKIES信息，以及花费的时间长短。
里面的内容需要大家自己翻阅学习，在浏览器对于其基础知识进行查询。
第三部分就是fliter，这个部分就是控制我们核心部分到底显示那些内容控制器。
点击蓝色部分，我们就会弹出下面这横排的内容，大家可以根据上面的英文自己学习，其实目前不用了解的这么详细。
其余两个部分因为目前还用不上，所以不进行介绍，大家一定要对核心部分的内容进行熟悉，以便后期的开发。 |
