皮皮网

1.大白话通俗易懂讲解深度学习机器学习人工智能指标正确率/精准率/精确率Precision Recall accuracy F1
2.全面梳理：准确率,测试精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1
3.基于实例数据详解准确率和召回率
4.合格率的计算公式、及格率的指标正确计算公式、正确率的源码计算公式

大白话通俗易懂讲解深度学习机器学习人工智能指标正确率/精准率/精确率Precision Recall accuracy F1

       为了简化理解，我们以寻找中特定颗粒物（如大米）为例，率测讲解深度学习、标源机器学习以及人工智能领域中的码正简单考试系统源码一些核心指标：正确率、精准率（Precision）、确率召回率（Recall）以及准确率（Accuracy）。多少

       假设你有一个需求，测试需要识别出中是指标正确否包含大米，而中只可能包含大米或芝麻，源码且不会同时出现。率测为了完成这个任务，标源你需要训练一个AI模型。码正

       1. **数据准备**：首先，确率收集大量，确保每张上仅含一个颗粒物，明确标注其为大米或芝麻。然后将这些分为训练集和测试集，确保模型在未知数据上的表现。

       2. **模型训练**：使用训练集对模型进行训练，最终得到一个能够判断中是否包含大米的模型。

       3. **模型测试**：在测试集中，对每张进行预测，将预测结果与实际标签进行比较，源码移交免责书评估模型性能。

       ### 概念详解

       #### 正确率（Accuracy）

       正确率是指模型正确预测的样本数量占所有预测样本数量的比例。在我们的例子中，正确率表示模型正确识别出大米的数量占所有预测为大米的数量的比例。

       #### 精准率（Precision）

       精准率关注的是模型输出为正类（预测为大米）的样本中，真正属于正类（实际为大米）的比例。在我们的场景下，精准率衡量了模型识别出的大米中，真正是大米的比例。

       #### 召回率（Recall）

       召回率衡量的是实际属于正类（大米）的样本中，被模型正确识别出来的比例。在我们的例子中，召回率表示实际的大米中，被正确识别出来的大米数量占所有实际大米数量的比例。

       #### F1得分

       F1得分是精准率和召回率的调和平均，用于综合评价模型的性能。它在精准率和召回率之间取得平衡，当两者都很高时，F1得分会相应提高。

       ### 实例解析

       假设测试集中有张实际为大米，模型预测出张为大米，其中5张预测正确。那么：

       - **召回率（Recall）** = 正确预测的大米数 / 实际的大米数 = 5 / = 0.

       - **精准率（Precision）** = 正确预测的大米数 / 预测为大米的总数 = 5 / = 0.5

       综合考虑，当模型在寻找大米时，apple源码透传准确率、精准率、召回率和F1得分提供了全面的性能评估，帮助我们理解模型在识别任务中的表现。

全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1

       二分类问题的结果有四种：

       逻辑在于，你的预测是positive-1和negative-0，true和false描述你本次预测的对错

       true positive-TP：预测为1，预测正确即实际1

       false positive-FP：预测为1，预测错误即实际0

       true negative-TN：预测为0，预测正确即实际0

       false negative-FN：预测为0，预测错误即实际1

       混淆矩阵

       直观呈现以上四种情况的样本数

       准确率accuracy

       正确分类的样本/总样本：(TP+TN)/(ALL)

       在不平衡分类问题中难以准确度量：比如%的正样本只需全部预测为正即可获得%准确率

       精确率查准率precision

       TP/(TP+FP)：在你预测为1的样本中实际为1的概率

       查准率在检索系统中：检出的相关文献与检出的全部文献的百分比，衡量检索的信噪比

       召回率查全率recall

       TP/(TP+FN)：在实际为1的样本中你预测为1的概率

       查全率在检索系统中：检出的相关文献与全部相关文献的百分比，衡量检索的覆盖率

       实际的二分类中，positive-1标签可以代表健康也可以代表生病，但一般作为positive-1的指标指的是你更关注的样本表现，比如“是垃圾邮件”“是阳性肿瘤”“将要发生地震”。

       因此在肿瘤判断和地震预测等场景：

       要求模型有更高的召回率recall，是个地震你就都得给我揪出来不能放过

       在垃圾邮件判断等场景：

       要求模型有更高的精确率precision，你给我放进回收站里的可都得确定是垃圾，千万不能有正常邮件啊

       ROC

       常被用来评价一个二值分类器的优劣

       ROC曲线的横坐标为false positive rate（FPR）：FP/(FP+TN)

       假阳性率，即实际无病，但根据筛检被判为有病的百分比。

       在实际为0的样本中你预测为1的概率

       纵坐标为true positive rate（TPR）：TP/(TP+FN)

       真阳性率，即实际有病，py如何运行源码但根据筛检被判为有病的百分比。

       在实际为1的样本中你预测为1的概率，此处即召回率查全率recall

       接下来我们考虑ROC曲线图中的四个点和一条线。

       第一个点，(0,1)，即FPR=0,TPR=1，这意味着无病的没有被误判，有病的都全部检测到，这是一个完美的分类器，它将所有的样本都正确分类。

       第二个点，(1,0)，即FPR=1，TPR=0，类似地分析可以发现这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。

       第三个点，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，没病的没有被误判但有病的全都没被检测到，即全部选0

       类似的，第四个点（1,1），分类器实际上预测所有的得尚商城源码样本都为1。

       经过以上的分析可得到：ROC曲线越接近左上角，该分类器的性能越好。

       ROC是如何画出来的

       分类器有概率输出，%常被作为阈值点，但基于不同的场景，可以通过控制概率输出的阈值来改变预测的标签，这样不同的阈值会得到不同的FPR和TPR。

       从0%-%之间选取任意细度的阈值分别获得FPR和TPR，对应在图中，得到的ROC曲线，阈值的细度控制了曲线的阶梯程度或平滑程度。

       一个没有过拟合的二分类器的ROC应该是梯度均匀的，如图紫线

       ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。而Precision-Recall曲线会变化剧烈，故ROC经常被使用。

       AUC

       AUC（Area Under Curve）被定义为ROC曲线下的面积，完全随机的二分类器的AUC为0.5，虽然在不同的阈值下有不同的FPR和TPR，但相对面积更大，更靠近左上角的曲线代表着一个更加稳健的二分类器。

       同时针对每一个分类器的ROC曲线，又能找到一个最佳的概率切分点使得自己关注的指标达到最佳水平。

       AUC的排序本质

       大部分分类器的输出是概率输出，如果要计算准确率，需要先把概率转化成类别，就需要手动设置一个阈值，而这个超参数的确定会对优化指标的计算产生过于敏感的影响

       AUC从Mann–Whitney U statistic的角度来解释：随机从标签为1和标签为0的样本集中分别随机选择两个样本，同时分类器会输出两样本为1的概率，那么我们认为分类器对“标签1样本的预测概率>对标签0样本的预测概率 ”的概率等价于AUC。

       因而AUC反应的是分类器对样本的排序能力，这样也可以理解AUC对不平衡样本不敏感的原因了。

       作为优化目标的各类指标

       最常用的分类器优化及评价指标是AUC和logloss，最主要的原因是：不同于accuracy，precision等，这两个指标不需要将概率输出转化为类别，而是可以直接使用概率进行计算。

       顺便贴上logloss的公式

       F1

       F1兼顾了分类模型的准确率和召回率，可以看作是模型准确率和召回率的调和平均数，最大值是1，最小值是0。

       额外补充AUC为优化目标的模型融合手段rank_avg：

       在拍拍贷风控比赛中，印象中一个前排队伍基于AUC的排序本质，使用rank_avg融合了最后的几个基础模型。

       rank_avg这种融合方法适合排序评估指标，比如auc之类的

       其中weight_i为该模型权重，权重为1表示平均融合

       rank_i表示样本的升序排名 ，也就是越靠前的样本融合后也越靠前

       能较快的利用排名融合多个模型之间的差异，而不用去加权样本的概率值融合

       贴一段源码：

       M为正类样本的数目，N为负类样本的数目，rank为分类器给出的排名。

       可以发现整个计算过程中连直接的概率输出值都不需要，仅关心相对排名，所以只要保证submit的那一组输出的rank是有意义的即可，并不一定需要必须输出概率。

基于实例数据详解准确率和召回率

       准确率和召回率是信息检索、分类、识别、翻译等领域中两个基础且重要的评估指标。准确率，也称查准率，衡量的是系统正确识别出的正例占所有识别结果的比例；而召回率，也叫查全率，表示系统找出所有正例的能力。这两个指标都依赖于特定的分类器和测试集，因此结果会因数据集不同而变化。

       以医生诊病为例，如果医生在诊断病人是否有病时，正确识别出病人的比例为准确率，而识别出所有病人的比例为召回率。例如，医生在个驾车测试案例中，正确识别个为驾车，召回率为/；在个步行案例中，识别出6个，召回率为6/。

       计算准确率的公式是正确识别的正例数除以所有识别的正例数，而召回率则是正确识别的正例数除以所有实际存在的正例数。理想情况下，我们希望两者都高，但在实际应用中，根据目标不同，可能需要在提高准确率和召回率之间做出权衡，如搜索时希望召回率高，而疾病监测时则可能更看重准确率。

       ROC曲线和AUC值是评估分类器性能的另一种方式，ROC曲线显示了真阳性率和假阳性率之间的权衡，AUC值则代表了分类器在所有可能的阈值下的性能平均。AUC值越大，说明分类器的性能越好，通常在0.5到1.0之间，随机分类器的AUC值接近0.5。

       总结来说，准确率和召回率是评价模型性能的重要工具，而ROC曲线和AUC值则提供了更为全面和直观的评估视角。在实际应用中，根据具体需求选择合适的指标进行分析和优化。

合格率的计算公式、及格率的计算公式、正确率的计算公式

       合格率的计算公式为：合格率 = × %。

       及格率的计算公式为：及格率 = × %。

       正确率的计算公式为：正确率 = × %。

       以下是关于这三个计算公式的

合格率的解释

       合格率是在一定范围内，符合某种标准或要求的数量所占的比例。在各类考试、评估或者产品质量检测中，合格率是一个非常重要的指标。计算时，需要知道合格的数量和总的数量，然后用合格的数量除以总的数量，再乘以%，以百分比的形式表现出来。这样，我们可以很直观地了解到在整体中，有多少比例是符合要求的。

及格率的解释

       及格率是指在某次考试或者测试中，达到既定及格标准的人数占总人数的比例。这个标准一般是根据整体情况或者事先设定的标准来确定的。计算及格率时，需要统计及格的人数和总人数，然后用及格的人数除以总人数，再乘以%，得出及格率的百分比。这个百分比可以反映考试的难易程度以及学生的整体水平。

正确率的解释

       正确率通常用于衡量在某项任务或者测试中，做出正确回应或选择的次数占总的测试次数的比例。无论是考试、问卷调查还是其他形式的评估，正确率都是一个很有效的评估指标。计算时，只需统计正确的数量和测试的总数量，然后用正确的数量除以测试的总数量，再乘以%，即可得出正确率的百分比。这个百分比可以直观地反映出参与者对知识的掌握程度或者任务的完成情况。

       以上三个公式都是百分比的形式呈现，便于我们更直观地了解和比较各种比例和情况。