当前位置：首页 > news >正文

网站建设方向课程十大经典营销案例

news 2025/7/16 8:51:51

网站建设方向课程,十大经典营销案例,做网站用webpack可以吗,武汉住房和城乡建设部网站统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。在信号处理领域,信号具有较大方差,噪声具有较小…

统计分析中，数据的变量之间可能存在相关性，以致增加了分析的难度。于是，考虑由少数不相关的变量来代替相关的变量，用来表示数据，并且要求能够保留数据中的大部分信息。

在信号处理领域,信号具有较大方差,噪声具有较小方差,因此,我们不难引出PCA的目标,即最大化投影方差,即让数据在主轴上投影的方差最大.

最大投影方差

推导过程

给定一组数据点 $\left \{ v_{1},v_{2},v_{3},... ,v_{n} \right \}$ ,其中每个向量均为列向量

中心化为 $\left \{ x_{1},x_{2},...,x_{n} \right \}=\left \{ v_{1}-\mu,v_{2}-\mu,... ,v_{n}-\mu \right \}$

由于向量内积在几何上表示为第一个向量投影到第二个向量上的长度,又由于投影之后均值为0,因此向量 $_{}$ $x_{i}$ 在w(单位方向向量)上的投影方差可以表示为

$D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}w)^{T}(x_{i}^{T}w)\\=\frac{1}{n}\sum_{i=1}^{n}w^{T}x_{i}x_{i}^{T}w\\=w^{T}(\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T})w$

其中

$\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T}$ 是样本协方差矩阵,记为 $\Sigma$ ,(协方差矩阵计算的是不同维度之间的协方差而不是不同样本之间的)且w是单位方向向量,有 $w^{T}w=1$

引入拉格朗日乘子,对w求导令其等于0

$L(w,\lambda )=w^{T}\Sigma w+\lambda (1-w^{T}w)\\ \frac{\partial L}{\partial w}=2\Sigma w-\lambda 2w=0\\ \Sigma w=\lambda w$

此时

$D(x)=w^{T}\Sigma w=\lambda w^{T} w=\lambda$

即样本投影后的方差就是协方差矩阵的特征值,最佳投影方向就是最大特征值所对应的特征向量.

求解方法

(1)样本数据中心化处理

(2)求样本协方差矩阵

(3)对协方差矩阵进行特征值分解,将特征值从大到小排列

(4)取特征值前d大对应的特征向量,并将n维样本映射到d维

$x_{i}^{'}=\left[\begin{array}{c} w_{1}^{T} x_{i}\\ w_{2}^{T} x_{i} \\ \vdots \\w_{d}^{T} x_{i} \end{array}\right]$

降维后的信息占比

$\displaystyle\eta =\sqrt{\frac{\sum_{i=1}^{d}{\lambda _{i}}^{2}}{\sum_{i=1}^{n}{\lambda _{i}}^{2}}}$

最小重构距离

令

$x_{i}=\sum_{k=1}^{p}(x_{i}^{T}w_{k})w_{k}$ 表示样本投影后的坐标值

$\hat{x_{i}}=\sum_{k=1}^{q}(x_{i}^{T}w_{k})w_{k}$ 表示样本投影后降维选取前q大的坐标值

目标是令

$J=\frac{1}{N}\sum_{i=1}^{N}||x_{i}-\hat{x_{i}}||^{2}$ 最小

展开

$=\frac{1}{N}\sum_{i=1}^{N}||\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})w_{k}||^{2}\\ =\frac{1}{N}\sum_{i=1}^{N}\sum_{k=q+1}^{p}(x_{i}^{T}w_{k})^{2}\\$

由于xi已经中心化过了

$=\sum_{i=1}^N\sum_{k=q+1}^p\frac1N\left((x_i-\bar x)^Tw_k \right )^2\\ =\sum_{k=q+1}^pw_k^T\Sigma w_k,\quad\text{s.t.}~w_k^Tw_k=1.$

所以最小重构距离和最大投影方差是等价的

SVD角度

思路:不求样本的协方差矩阵,而是对中心化后的数据进行奇异值分解

对中心化后的数据进行奇异值分解

$X_{N*P}=U\Sigma V^{T}\\$

样本协方差矩阵为

$S=X^{T}X=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma^{2} V^{T}$

对照特征值分解的S

$S=GKG^{T}$

得到

G=V

K= $\Sigma ^{2}$

从 SVD 角度看，PCA 的投影矩阵可以直接从 V 中获取。V 的列向量就是协方差矩阵 S 的特征向量，而奇异值的平方与协方差矩阵的特征值成正比。选取前 k 个右奇异向量构成投影矩阵，就能够实现数据的降维。

参考

<统计学习方法>

<百面机器学习>

(系列五) 降维1-背景_哔哩哔哩_bilibili

查看全文

http://www.cadmedia.cn/news/6280.html

县政府网站建设管理工作制度东方网络律师团队

做阿里巴巴网站装修要多久seo学堂

网站制作软件下载安装去哪里推广软件效果好

潍坊网站建设公司电话手机网站seo免费软件

网站建设使用的基本技术seo优化服务公司

包装设计公司哪家好百度推广seo

广州青菜篮农业有限公司网站建设项目seo优化公司如何做

宠物网站页面设计css爱站网ip反域名查询

秦皇岛哪家做网站好杭州百度快照优化公司

商会网站建设怎么做网络推广

苏州苏网建设工程有限公司榆林市网站seo

wordpress 百度联盟如何软件网站优化公司

二手房网站建设及推广方案seo公司优化排名

政府网站建设先进个人培训心得体会1000字通用

wordpress做手机网站安卓优化大师hd

最大投影方差

最小重构距离

SVD角度

相关文章：