随机模拟方法是一种思考问题的思路,因为常规的方法即分析的思路需要我们考虑很多变量的关系,而且最后方程的求解可能复杂度太高而不可能。因此需要新的方法来,本质上就是规划,而大多数时候都是通过经验和实验来进行推断的,这实际上就是统计学习。不强求最优解,只需要在有限资源下做出差强人意的局部最优解就可以。比如说Alphago就有使用到蒙特卡罗随机算法。
随机系统—采样—统计学习,将复杂的多变量系统抽象为有限的状态,然后有随机模拟算法来计算。背后的数学原理有大数定律,中心极限定理等等。重复大量独立的实验,即对所有情况进行模拟,理论上可以观察到采样与总体分布模式的一致性,从而能够以小推大,最后的平均结果是数学期望。
频率与概率的相似,可以通过抽样的统计来分析概率背后的原理,如投针法来测量圆周率。也可以使用随机模拟方法来计算定积分问题。
应用随机模拟的一般思路,将系统视为状态的变化(模拟系统的状态),这些变化是随机的,受到某些随机因素的影响,因此将系统的运行性能指标设计为问题所需要求解的量,通过大量重复实验求解,这是一种不同传统的分析。
IPO模式,input输入是随机的状态,Progress处理是系统的运行逻辑即状态更新,output输出是可能的预测。需要设定一定的变量来刻画系统的情况,这些状态需要可量化,需要我们定义好有意义的统计量。最后是重复的随机模拟,观察是否有稳定的收敛解。
隐马尔可夫模型,不同的状态之间有一定的出现概率,而且这些状态在时间的维度上有转移的可能,即转移概率矩阵。
概率论的公理化体系:1非负性,概率大于等于0,小于等于1。2归一性,概率加和等于1。3可列可加性,不相容的事件的概率等于分别事件的概率之和。
设有样本空间,所有事件空间,对于样本空间的每一个事件,都对应于一个实数P(A),满足以下五个公理:1样本空间属于所有事件空间2如果事件A属于所有事件空间,则补集=样本空间/事件A,属于所有样本空间3如果事件Ai属于所有事件空间,其并集也属于所有事件空间4非负性和规范性5事件互不相容,则具有可列可加性。
然后从基本的定义来推导各种性质:1不可能事件概率为0,必然事件概率为1。2有限不相容,可加性。3对立事件的概率等于1-事件概率。
大数定律,平均结果具有一定的稳定性。事件的概率可以定义为频率的极限
用确定性的语言来描述不确定性的对象,因此只能在统计层次理解随机现象。
赌金分配问题需要考虑所有的可能性,然后根据各自的比例来分配。
条件概率,独立事件P(A|B)=P(AB)/P(B)
全概率公式P(ABi)=P(Bi)P(A|Bi)
贝叶斯公式,已知结果求原因,即条件概率。P(Bi|A)=P(Bi)P(A|Bi)/∑P(Bj)P(A|Bj)
随机变量本质上是一种函数,将特定事件映射于一定的实数即概率。有离散型和连续性随机变量概率分布,前者是特定事件的离散概率,后者可以使用微积分的方法来理解如概率是相对于概率密度函数的高维函数(微积分基本定理)。
进一步的是分布函数,概率分布具有概率同样具有的性质如非负性和规范性。
二项分布C(n,r)p^r(1-p)^(n-r)—泊松分布,单位时间随机事件发生次数的概率分布—正态分布
数学期望=事件*概率
中心极限定理,独立分布的随机变量可以近似认为服从标准正态分布。
MATLAB入门,基本的语法,基本命令,基本的语句即顺序分支循环结构,函数式编程思路,编写各种函数来实现各种功能。基于文件的处理。可视化,利用软件的作图功能。
矩阵运算是matlab的特色,如求秩,特征值,矩阵分解等等。尤其是大规模的矩阵运算,这在机器学习方面有很大的应用。
任意初等函数可以泰勒展开为幂级数之和,可以封装为各种函数。
不同分布,离散型均匀/泊松分布,连续型均匀/正态/对数分布,和随机数生成。
模拟编程,初始化实验次数,然后
随机模拟的核心:逆变换法和接受—拒绝法,能够产生服从特殊分布的随机数。这种分布模式其实就是一种高维模式。本质上都是构造。
逆变换法(设F(X)是特定的一维概率分布函数):1写出分布函数的反函数F-I(x)2生成随机数u~U(0,1);3计算x=F-1(u)
接受—拒绝法其实是构造密度函数,是相对于分布函数高维的原函数,如同泰级数展开。
马尔可夫模型
统计力学,以最大无序程度即熵为基础(不确定性的度量),将系统中微观状态的统计规律和宏观物理量联系起来。用概率方法来刻画大量粒子微观状态服从的分布,以统计平均来计算系统的宏观特征量
系综方法与波尔兹曼分布,ising模型来解释铁磁体在温度变化时呈现相变现象,可以视为分类器,是一种群体智能。
最大熵原理,热力学第二定律的应用,确定热力学系统的演化结果。
蒙特卡罗模拟
模拟退火法,求解目标函数的全局最小值。