模拟退火算法起源1
1模拟退火算法起源于物理退火1
1物理退火过程:a
T0降温温度升高原子动能增加跳离原来位置的概率增加原子动能减小跳离原来位置的概率减小继续降温原子位置排列将趋于能量低的状态最后稳定
根据这一物理过程,1953年Metropolis提出重要性采样法,即以概率接受新状态
称为Metropolis准则
该准则指出:固体在恒定温度下达到热平衡的过程可以用MorteCarol算法方法加以模拟,虽然该方法简单,但必须大量采样才能得到比较精确的结果,因而计算量很大
鉴于物理系统倾向于能量较低的状态,而热运动又妨碍它准确落到最低态
采样时着重选取那些有重要贡献的状态则可较快达到较好的结果
2随机神经网络BP神经网络和反馈神经网络都是使能量函数按梯度单调下降,如图常常导致网络落入局部最小点而达不到全局最小点,这就意味着训练不收敛
而随机网络即能赋予网络下山的能力,也能赋予网络上山的能力,特点如下:(1)在学习阶段,随机网络不像其它网络那样基于某种确定性算法(2)在运行阶段,随机网络不是按某种确定性的网络方程进行状态演变,神经元的净输入不能决定其状态是1还是0
3模拟退火算法的特点2
1模拟退火算法的优点计算过程简单,通用,鲁棒性强,适用于并行处理,可用于求解复杂的非线性优化问题2
2模拟退火算法的缺点降温过程与解的质量的矛盾2
4模拟退火算法的改进(1)设计合适的状态产生函数,使其根据搜索进程的需要表现出状态的全空间分散性或局部区域性
(2)设计高效的退火策略
(3)避免状态的迂回搜索
(4)采用并行搜索结构
(5)为避免陷入局部极小,改进对温度的控制方式(6)选择合适的初始状态
(7)设计合适的算法终止准则
还可以通过以下方式进行改进(1)增加升温或重升温过程
在算法进程的适当时机,将温度适当提高