线性代数:多个随机变量相加的方差

news/2024/8/26 12:13:32 标签: 线性代数, 人工智能, transformer, 深度学习

对于多个随机变量相加的方差,我们可以按照独立和不独立的情况进行讨论。

1. 独立情况下的证明

假设我们有 n n n 个独立的随机变量 X 1 , X 2 , … , X n X_1, X_2, \ldots, X_n X1,X2,,Xn

根据方差的性质,如果随机变量是独立的,则它们的方差可以直接相加:
Var ( X 1 + X 2 + … + X n ) = Var ( X 1 ) + Var ( X 2 ) + … + Var ( X n ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \text{Var}(X_1) + \text{Var}(X_2) + \ldots + \text{Var}(X_n) Var(X1+X2++Xn)=Var(X1)+Var(X2)++Var(Xn)
证明

  1. 首先,计算期望: E [ X 1 + X 2 + … + X n ] = E [ X 1 ] + E [ X 2 ] + … + E [ X n ] \mathbb{E}[X_1 + X_2 + \ldots + X_n] = \mathbb{E}[X_1] + \mathbb{E}[X_2] + \ldots + \mathbb{E}[X_n] E[X1+X2++Xn]=E[X1]+E[X2]++E[Xn]
  2. 然后,使用方差的定义: Var ( X 1 + X 2 + … + X n ) = E [ ( X 1 + X 2 + … + X n − E [ X 1 + X 2 + … + X n ] ) 2 ] \text{Var}(X_1 + X_2 + \ldots + X_n) = \mathbb{E}[(X_1 + X_2 + \ldots + X_n - \mathbb{E}[X_1 + X_2 + \ldots + X_n])^2] Var(X1+X2++Xn)=E[(X1+X2++XnE[X1+X2++Xn])2]
  3. 展开并使用独立性: = E [ ∑ i = 1 n ( X i − E [ X i ] ) 2 + ∑ i ≠ j ( X i − E [ X i ] ) ( X j − E [ X j ] ) ] = \mathbb{E}\left[\sum_{i=1}^{n}(X_i - \mathbb{E}[X_i])^2 + \sum_{i \neq j}(X_i - \mathbb{E}[X_i])(X_j - \mathbb{E}[X_j])\right] =E[i=1n(XiE[Xi])2+i=j(XiE[Xi])(XjE[Xj])]对于独立的随机变量,协方差项的期望值为零,因此最后的公式为: = ∑ i = 1 n Var ( X i ) = \sum_{i=1}^{n} \text{Var}(X_i) =i=1nVar(Xi)

2. 不独立情况下的证明

如果 X 1 , X 2 , … , X n X_1, X_2, \ldots, X_n X1,X2,,Xn 是不独立的随机变量,则需要考虑它们之间的协方差。

方差的计算公式为:
Var ( X 1 + X 2 + … + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2++Xn)=i=1nVar(Xi)+i=j2Cov(Xi,Xj)
证明

  1. 使用方差的定义: Var ( X 1 + X 2 + … + X n ) = E [ ( X 1 + X 2 + … + X n − E [ X 1 + X 2 + … + X n ] ) 2 ] \text{Var}(X_1 + X_2 + \ldots + X_n) = \mathbb{E}[(X_1 + X_2 + \ldots + X_n - \mathbb{E}[X_1 + X_2 + \ldots + X_n])^2] Var(X1+X2++Xn)=E[(X1+X2++XnE[X1+X2++Xn])2]
  2. 展开平方: = ∑ i = 1 n E [ ( X i − E [ X i ] ) 2 ] + ∑ i ≠ j E [ ( X i − E [ X i ] ) ( X j − E [ X j ] ) ] = \sum_{i=1}^{n} \mathbb{E}[(X_i - \mathbb{E}[X_i])^2] + \sum_{i \neq j} \mathbb{E}[(X_i - \mathbb{E}[X_i])(X_j - \mathbb{E}[X_j])] =i=1nE[(XiE[Xi])2]+i=jE[(XiE[Xi])(XjE[Xj])]
  3. 第一项为方差,第二项为协方差的两倍和。
    最终,我们得到:
    Var ( X 1 + X 2 + … + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2++Xn)=i=1nVar(Xi)+i=j2Cov(Xi,Xj)

总结

  • 独立情况下 Var ( X 1 + X 2 + … + X n ) = ∑ i = 1 n Var ( X i ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) Var(X1+X2++Xn)=i=1nVar(Xi)
  • 不独立情况下 Var ( X 1 + X 2 + … + X n ) = ∑ i = 1 n Var ( X i ) + ∑ i ≠ j 2 Cov ( X i , X j ) \text{Var}(X_1 + X_2 + \ldots + X_n) = \sum_{i=1}^{n} \text{Var}(X_i) + \sum_{i \neq j} 2 \text{Cov}(X_i, X_j) Var(X1+X2++Xn)=i=1nVar(Xi)+i=j2Cov(Xi,Xj)

http://www.niftyadmin.cn/n/5558045.html

相关文章

eclipse 新建类class文件增加copyright版权信息

1、Window -> Preferences 2、输入code,找到code templates Java > Code Style > Code Templates 比如进行如何的设置: 3、新增类文件,会自动增加版权:

在 Node.js 中使用 axios 配置代理并实现图片并发下载

文章目录 一、创建 Axios 实例二、图片并发下载三、参考资料 一、创建 Axios 实例 可以创建一个 axiosConfig.ts 文件用于创建和更新相关实例: // server/utils/axiosConfig.ts const axios require("axios"); const { HttpsProxyAgent } require(htt…

使用milvus-sdk-go的迭代器导出数据

使用milvus-sdk-go的迭代器导出数据 迭代器是一种功能强大的工具,可帮助您使用主键值和布尔表达式迭代集合中的大量数据或所有数据。这可以显著改善您检索数据的方式。与传统的offset和limit参数用法不同,后者可能会随着时间的推移而变得效率低下&#…

Java面试八股之Redis Stream的实现原理及应用场景

Redis Stream的实现原理及应用场景 Redis Stream是一种在Redis 5.0版本中引入的数据结构,它主要用于实现高效的消息队列服务。下面我将详细解释其实现原理以及一些常见的应用场景。 实现原理 1. 结构组成: - Redis Stream由一个或多个消息组成&#xf…

CSS3 transform rotate(旋转)锯齿/元素抖动模糊的解决办法

要解决CSS3 transform rotate(旋转)锯齿/元素抖动模糊的问题,可以尝试以下方法: 使用硬件加速 为元素添加transform: translateZ(0);或者will-change: transform;属性,以启用硬件加速,提高渲染性能。 .elem…

一键发布:抖音短视频矩阵系统批量上传与智能混剪功能解析

在数字化时代,抖音短视频已经成为人们日常生活中不可或缺的一部分。无论是记录生活点滴,还是展示个人才华,抖音都为我们提供了一个广阔的舞台。然而,对于内容创作者来说,如何高效、便捷地发布短视频,实现内…

安卓自带camera hal3 实例README.md翻译

最近,遇到一个这样的问题,临时了解下这个驱动实现架构和特点,翻译如下 V4L2相机HALv3 camera.v4l2库使用视频Linux 2(V4L2)接口实现了camera HAL v3。这使得它在理论上可以与各种设备配合使用,尽管V4L2的…

自定义列表标记(dl-dt-dd)

dl:自定义列表容器标记dt:列表标题dd:列表内容 目录 例子 常用语网页的footer&#xff0c;例如 例子 <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name"viewport" content"widthde…