1.sklearn参数详解—SVM
2.SVM常考细节
3.求python支持向量机数据设置标签代码
4.算法篇|23SVM（下）：如何进行乳腺癌检测？
5.如何使用skle

sklearn参数详解—SVM

       Sklearn中SVM分为LinearSVC、NuSVC和SVC三种。以下是参数详解：

       LinearSVC：参数有：penalty（正则化参数）、loss（损失函数）、dual（是否转化为对偶问题）、tol（收敛条件）、mongoclient源码下载C（惩罚系数）、multi_class（多分类策略）、fit_intercept（计算截距）、class_weight（不平衡样本权重）、verbose（显示冗余）、random_state（随机种子大小）、max_iter（最大迭代次数）。结果包括：coef_（系数）、intercept_（截距）。

       NuSVC：参数包含：nu（训练误差部分上限与支持向量部分下限）、橘子影院源码kernel（核函数，如线性、多项式、高斯、sigmod）、degree（多项式核函数最高次数）、gamma（核函数系数，默认“auto”）、coef0（多项式、sigmod函数中的常数）、max_iter（最大迭代次数，默认无限制）、probability（使用概率估计）、decision_function_shape（多分类形式）、cache_size（缓冲大小）。atom源码编译结果包括：support_（支持向量索引）、support_vectors_（支持向量）、n_support_（每类支持向量个数）、dual_coef_（支持向量系数）、coef_（系数，线性核时可用）、intercept_（截距）。

       SVC：参数与NuSVC相似，区别在于损失函数度量方式。方法有：decision_function(X)（获取距离）、fit(X, y)（训练模型）、get_params(deep)（获取参数）、predict(X)（预测标签）、score(X, y)（平均准确率）。结果为：coef_（系数）、彩民论坛源码intercept_（截距）。

       以上参数选择需依据实际问题和需求，结合使用效果调整，合理配置以实现最优分类结果。

SVM常考细节

       SVM的原理是什么？

       SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机）

        （1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；

        （2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；

        （3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

        注：以上各SVM的数学推导应该熟悉： 硬间隔最大化（几何间隔）---学习的对偶问题---软间隔最大化（引入松弛变量）---非线性支持向量机（核技巧）。

        SVM为什么采用间隔最大化？

        当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。

        感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。

        线性可分支持向量机 利用间隔最大化求得最优分离超平面 ，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是 最鲁棒 的，对未知实例的 泛化能力最强 。

        然后应该借此阐述，几何间隔，函数间隔，及从函数间隔—>求解最小化1/2 ||w||^2 时的w和b。即线性可分支持向量机学习 算法 —最大间隔法的由来。

        为什么要将求解SVM的原始问题转换为其对偶问题？

        一、是对偶问题往往更易求解（当我们寻找约束存在时的最优点的时候，约束的存在虽然减小了需要搜寻的范围，但是却使问题变得更加复杂。为了使问题变得易于处理，我们的方法是 把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。 ）

        二、自然引入核函数，进而推广到非线性分类问题。

        为什么SVM要引入核函数？

        当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

        引入映射后的对偶问题：

        在学习预测中，只定义核函数 K ( x , y )，而不是显式的定义映射函数 ϕ 。因为 特征空间维数可能很高，甚至可能是无穷维，因此直接计算 ϕ ( x )· ϕ ( y )是比较困难的。 相反，直接计算 K ( x , y )比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。

        核函数的定义： K ( x , y )=< ϕ ( x ), ϕ ( y )>，即在特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。

        除了 SVM 之外，任何将计算表示为数据点的内积的方法，都可以使用核方法进行非线性扩展。

        svm RBF核函数的具体公式？

       Gauss径向基函数则是局部性强的核函数，其外推能力随着参数σ的增大而减弱。

        这个核会将原始空间映射为无穷维空间。不过，如果 σ 选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果 σ 选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数 σ ， 高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。

        为什么SVM对缺失数据敏感？

        这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

        SVM是用的是哪个库？Sklearn/libsvm中的SVM都有什么参数可以调节？

        用的是sklearn实现的。采用sklearn.svm.SVC设置的参数。本身这个函数也是基于libsvm实现的（PS: libsvm中的二次规划问题的解决算法是SMO）。

        SVC函数的训练时间是随训练样本平方级增长，所以不适合超过的样本。

        对于多分类问题，SVC采用的是one-vs-one投票机制，需要两两类别建立分类器，训练时间可能比较长。

        sklearn.svm.SVC( C=1.0 , kernel='rbf' , degree=3 , gamma='auto' , coef0=0.0 , shrinking=True , probability=False , tol=0. , cache_size= , class_weight=None , verbose=False , max_iter=-1 , decision_function_shape=None , random_state=None )

        参数：

        l  C：C-SVC的惩罚参数C?默认值是1.0

        C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集 测试 时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。

        l kernel ：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’

        0 – 线性：u'v

        1 – 多项式：(gamma*u'*v + coef0)^degree

        2 – RBF函数：exp(-gamma|u-v|^2)

        3 –sigmoid：tanh(gamma*u'*v + coef0)

        l degree ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。

        l gamma ： â€˜rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features

        l coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。

        l probability： 是否采用概率估计？.默认为False

        l shrinking ：是否采用shrinking heuristic方法，默认为true

        l tol： 停止训练的误差值大小，默认为1e-3

        l cache_size ：核函数cache缓存大小，默认为

        l class_weight ：类别的权重，字典形式传递。设置第几类的参数C为weight*C(C-SVC中的C)

        l verbose ：允许冗余输出？

        l max_iter ：最大迭代次数。-1为无限制。

        l decision_function_shape ：‘ovo’, ‘ovr’ or None, default=None3

        l random_state ：数据洗牌时的种子值，int值

        主要调节的参数有：C、kernel、degree、gamma、coef0。

        SVM如何处理多分类问题？

        一般有两种做法：一种是直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题里面。看似简单但是计算量却非常的大。

        另外一种做法是间接法：对训练器进行组合。其中比较典型的有 一对一 ，和 一对多 。

        一对多，就是对每个类都训练出一个分类器，由svm是二分类，所以将此而分类器的两类设定为目标类为一类，其余类为另外一类。这样针对k个类可以训练出k个分类器，当有一个新的样本来的时候，用这k个分类器来测试，那个分类器的概率高，那么这个样本就属于哪一类。这种方法效果不太好，bias比较高。

        svm一对一法（one-vs-one），针对任意两个类训练出一个分类器，如果有k类，一共训练出C(2,k) 个分类器，这样当有一个新的样本要来的时候，用这C(2,k) ä¸ªåˆ†ç±»å™¨æ¥æµ‹è¯•ï¼Œæ¯å½“被判定属于某一类的时候，该类就加一，最后票数最多的类别被认定为该样本的类。

求python支持向量机数据设置标签代码

       以下是使用Python中的Scikit-learn库实现支持向量机（SVM）模型的数据设置标签代码示例：

       from sklearn import svm

       # 假设有以下三个样本的数据：

       X = [[0, 0], [1, 1], [2, 2]]

       y = [0, 1, 1]  # 对应每个数据点的标签，0表示负样本，1表示正样本

       # 创建SVM模型

       clf = svm.SVC()

       # 将数据集(X)和标签(y)作为训练数据来训练模型

       clf.fit(X, y)

       上述代码中，X是一个二维数组，每个元素都代表一个数据点的特征值，y是一个一维数组，每个元素都代表对应数据点的标签。通过将X和y作为训练数据，可以训练SVM模型并得到分类结果。

算法篇|SVM（下）：如何进行乳腺癌检测？

       在 Python 的 sklearn 工具包中有 SVM 算法，首先需要引用工具包： from sklearn import svm。if导航源码SVM 可以用于分类和回归。当做分类器时，使用 SVC 或者 LinearSVC。SVC 是用于处理非线性数据的分类器，可以使用线性核函数或高维核函数进行划分。

       创建一个 SVM 分类器的步骤如下：model = svm.SVC(kernel='rbf', C=1.0, gamma='auto')。参数 kernel 用于选择核函数，C 控制目标函数的惩罚系数，gamma 是核函数的系数。

       训练 SVM 分类器时，使用 model.fit(train_X,train_y)，其中 train_X 是特征值矩阵，train_y 是分类标识。预测时，使用 model.predict(test_X)，其中 test_X 是测试集中的样本特征矩阵。

       创建线性 SVM 分类器，使用 model=svm.LinearSVC()。LinearSVC 适用于线性分类问题，且效率更高。

       乳腺癌检测实际项目使用 SVM 分类器，数据集来自美国威斯康星州的乳腺癌诊断数据集。数据集包含个字段，特征值有平均值、标准差、最大值。通过清洗数据、筛选特征、进行相关性分析等步骤，选择关键特征进行分类。

       具体步骤包括：加载数据、清洗数据、特征筛选和相关性分析，使用热力图进行可视化。最终选择6个关键特征进行训练和预测，准确率超过%。

       使用 sklearn 提供的 SVM 工具，简化了创建和训练的过程。实践项目中，需要熟练掌握每个流程，提高数据敏感度和数据化思维能力。

       思考题：使用 LinearSVC 和全部特征（除 ID 外）进行乳腺癌分类，评估准确度；分享对 sklearn 中 SVM 使用的体会。

       学习笔记总结了使用 sklearn 实现 SVM 分类的流程，并通过实际项目展示了乳腺癌检测的应用。强烈推荐学习《数据分析实战 讲》课程，深入掌握数据分析实战技能。

如何使用skle

       在使用sklearn库中的SVM进行机器学习时，SVM模型提供了多种类型以适应不同的问题。其中，CvSVMParams::C_SVC是最常见的选择，适用于多类别（n>2）的非完美分类问题，允许通过异常值惩罚因子C进行分类。CvSVM::NU_SVC也是一种处理不完全分类的分类器，参数nu影响决策边界的平滑程度，值越大，边界越平滑。CvSVM::ONE_CLASS专用于单类别分类，通过建立特征空间的分界线来区分数据集中的类。

       回归任务中，CvSVM::EPS_SVR和CvSVM::NU_SVR要求预测值与训练数据的超平面距离小于某个阈值p，C和nu同样用于异常值惩罚。对于核函数，CvSVM::RBF（径向基）通常效果较好，而CvSVM::LINEAR则直接在原始特征空间进行线性分类，速度较快。degree用于多项式核（POLY），gamma影响核函数的内聚程度，coef0则在某些核函数中起到调整作用。

       在调用sklearn.SVM时，参数如degree、gamma、coef0、C、nu和p等都需要适当设置，CvSVMParams对象用于配置这些参数。最后，确保训练数据规范化，并以CvMat格式输入到模型中，以便进行训练和预测。