tags
type
status
date
slug
summary
category
password
icon
以下记录核心结论以供查阅，具体细节见课程PPT

回归

损失项+正则项

正则项

L1：，会尽可能把参数压到0
L2：，会尽可能让参数小，但不是0

线性回归

一般我们取，也可以取等

二分类逻辑回归

法1：，y=0/1，因此实际上求和每一项是f(x)或者1-f(x)
一般我们取
法2交叉熵损失：，y=-1/1，
二者其实是等价的

SoftMax

，其中yi和j为K个标签

Lagrange对偶与KKT条件

  1. 原问题：, s.t.
其中f.g.h均为凸函数，从而可行域为凸集
  1. 对偶问题：
，s.t.
  1. KKT条件（假设原问题与对偶问题能达到同一个最优解，在凸优化的前提下成立）
      2. ，
      ，

感知机

，yi=-1/1

SVM

  1. 原问题：，s.t.
  1. 对偶问题：，s.t.，
      2. 得到后，，，j为某个支持向量的下标（）
“软线性可分”
  1. 原问题：，s.t.
  1. 对偶问题：，s.t.，
      2. 得到后，，，j为某个支持向量的下标（）
“核函数”
把替换成
notion image
相关文章
课程须知
数电
奇幻文学
计算系统
数电奇幻文学