智客公社

标题: 周志华的《机器学习》 [打印本页]

作者: 8090ANDY 时间: 2024-8-9 10:40
标题: 周志华的《机器学习》

周志华的《机器学习》，号称人工智能领域中文版开山之作。
这是一本面向中文读者的机器学习教科书，适合正在学习机器学习的学生，以及对人工智能机器学习感兴趣的人士。为了让读者通过本书对机器学习有所了解，作者使用了通俗易懂的切西瓜的方式，生动有趣的讲解了机器学习基础知识的各方面，被业内戏称“西瓜书”。
一、内容概述

全书共16章，大致分为三个部分：

基础知识（第1～3章）：介绍机器学习的基础知识，包括绪论、模型评估与选择、线性模型等内容。
经典方法（第4～10章）：讨论一些经典而常用的机器学习方法，如决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习等。
进阶知识（第11～16章）：涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等进阶内容。

二、目录

书中除第1章外，每章都给出了十道习题。有的习题是帮助读者巩固本章学习，有的是为了引导读者扩展相关知识。带星号的习题则有相当难度，有些并无现成答案，谨供富有进取心的读者启发思考。
本书可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考。

三、绪论

1.基本术语

数据集:数据样本的集合
示例:对数据样本的描述
属性：反映样本事物的表现或性质
属性值：属性上的取值
属性空间:属性张成的空间，有几个属性就是几维属性空间(样本空间)
特征向量(属性向量):属性空间中的向量(结果)
训练：从数据中学得模型的过程
训练数据：训练过程使用的数据
不可知样本(unseen data):未来的数据,不可知
假设:所用的模型对应了关于数据的某种规律,模型学到的东西,拟合函数f(x)
真相:潜在规律自身就是真相，学习过程就是为了找到或者逼近真相。
分类:离散的输出 {yes,no},{big,middle,small}
回归:连续的输出 [0,1]
监督学习:拿到的数据中有结果
无监督学习:拿到的数据中没有结果

（分类和回归是前者的代表，而聚类是后者的代表）

独立同分布:只有样本满足独立同分布,他们之间才是无关的
泛化:模型的泛用性，学得模型同样适用于新样本

2.假设空间
假设获得了一个训练数据集。

我们的学习目标是“好瓜”，表中的三个因素就是我们判定一个好瓜的标准，然后就可以用布尔表达式来判断训练。

3.归纳偏好
归纳偏好就是归纳偏好是算法在面临多种可能的假设或模型时，如何根据先验知识或假设来选择最符合当前任务或数据特性的模型的一种机制。这种偏好通常嵌入在算法的设计中，并影响算法的学习过程和最终模型的性能。
下图中的每个训练样本是图中的一个点（x,y），要学得一个与训练集一致的模型，相当于找到一个穿过所有训练样本的曲线。

四、模型评估与选择

1.经验误差与过拟合
过拟合：学习器把训练样本学的太好了，把训练样本的一些特质当成了所有样本都有的普遍特质，导致泛化性能下降。
欠拟合：对训练样本的一般特质尚未学好。

2.评估方法

留出法：直接将数据集分成两个互斥的集合，一个训练集S，一个测试集T，在S上训练出模型后，用T来评估测量误差。
交叉验证法：将数据集划分为k个大小相似的互斥子集。

自助法：通过有放回地重复抽样来构建训练集和测试集。
调参与最终模型：在进行模型评估与选择时，除了要对适用学习算法选择，还需要对算法参数进行设定。

3.性能度量
对学习器的泛化性能进行评估，不仅需要有限可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量。

错误率与精度

错误率：分类错误的样本数占样本总数的比例。
精度（Accuracy）：分类正确的样本数占样本总数的比例。精度是分类任务中最直观的性能度量，但在处理不平衡数据集时可能会失效。

查准率、查全率与F1分数

查准率（Precision）：在所有被模型预测为正类的样本中，真正为正类的样本所占的比例。它衡量了模型预测为正类的可靠性。
查全率（Recall，也称召回率）：在所有实际为正类的样本中，被模型正确预测为正类的样本所占的比例。它衡量了模型找到所有正类样本的能力。
F1分数：查准率和查全率的调和平均，用于在两者之间进行权衡。F1分数越高，说明模型的性能越好。

ROC曲线与AUC

ROC曲线：ROC全称“受试者工作特征”以真正例率（TPR）为纵轴，假正例率（FPR）为横轴绘制的曲线。ROC曲线越靠近左上角，模型的性能越好。

两者分别定义
AUC（Area Under Curve）：ROC曲线下的面积，用于量化模型性能。AUC值越大，模型的性能越好。

PR曲线与PR-AUC

PR曲线：以查准率为纵轴，查全率为横轴绘制的曲线。PR曲线更关注于精确性和召回率之间的权衡。
PR-AUC：PR曲线下的面积，用于量化模型在精确性和召回率方面的性能。

4.比较检验
主要涉及的两个步骤：
1.提出假设：

零假设：这是我们要检验的假设，通常是一个关于总体参数的假设，比如“两个数据集的均值没有显著差异”。
备择假设：这是当零假设被拒绝时，我们接受的假设，比如“两个数据集的均值存在显著差异”。

2.收集证据并进行检验：

使用统计测试（如t检验、卡方检验、ANOVA等）来评估样本数据是否提供了足够的证据来拒绝零假设。
计算一个统计量（如t值、卡方值等），这个统计量反映了样本数据与零假设之间的差异程度。
确定显著性水平（如α=0.05），这是拒绝零假设的阈值。
根据统计量的值和显著性水平，计算p值（即观察到的数据或更极端数据在零假设为真的情况下出现的概率）。
如果p值小于显著性水平（α），则拒绝零假设，接受备择假设；如果p值大于显著性水平，则不拒绝零假设。

书籍资料领取方式：
一、厚苔私信发送“1”，即可免费领取
二、关注工重号“编程百事通”

欢迎光临智客公社 (http://bbs.cnaiplus.com/)