目录摘要(关键词)........................................................11．引言.............................................................11．1选题意义....................................................11．2国内外发展状况..............................................11．3展望........................................................21．4目前强化学习遇到的问题......................................21．5研究方法的探索..............................................32．系统模型及理论支持...............................................32．1马尔科夫决策过程............................................32．2强化学习....................................................32．3Q学习......................................................42．4Q学习的信道选择算法........................................52．5Boltzmann学习规则..........................................62．6模拟退火过程................................................72．7OFDM的信道接入方式.........................................72．8系统模型....................................................72．9蒙特卡洛方法................................................83．算法流程及实验过程...............................................83．1实验过程....................................................83．2算法流程....................................................83．3仿真过程...................................................104．结果分析........................................................114．1数据分析...................................................114．2实验中存在的问题和可行性...................................135．结束语..........................................................136．参考文献........................................................137．致谢............................................................14abstract(keywords)................................................15基于客户端的学习算法节能问题【摘要】如今移动客户端数量日益增多，通信频道资源渐渐难以满足需求，本文采用一种基于Q学习的信道选择算法，通过建立点对点用户之间的通信信道模型，并且建立一个合理的回报函数，使得智能机能够通过总结经验来改善行为决策，进而使得最终可以得到最优的选择决策。由仿真结果可以得出，该算法可以有效的提高用户接入信道的平均信道容量，由于信道的平均容量得到了提升，信息在该系统下的信息传递速率也会有一定的优化，从而达到充分利用优秀信道资源，节约信道资源的效果。【关键词】信道选择；Q学习；节能问题1．引言1.1选题意义人工智能是现今最热门的研究领域之一，其中研究人工智能的核心方法就有机器学习。最初是希望计算机拥有一定的自我学习能力，从而可以自我获取知识、提高智能性。随着机器学习领域的不断探索，将人类的学习能力赋予机器已经不再是机器学习的主要目标了，研究目标转向了可以有效地由计算机实习数据分析技术。然而机器学习需要采集大量的环境反馈，累积奖赏值，从而获得最优决策，这一过程需要大量的数据采集、分配和计算，对于计算机的能耗有着较大的要求。为了节约能耗，我们需要通过强化学习，优化算法结构和效率，从而用更少的能耗找到最优决策，这样可以减少对硬件的要求，将机器学习推广到更多领域中。强化学习，是机器学习领域中一种重要的学习方法，强化学习的应用烦恼为涵盖了智能控制、机器人及分析预测等众多领域。在无线通信领域中，无线资源的需求日益增加，如何高效有序的将信道频谱资源进行分配，也是节约能耗的一个关键问题。本文通过强化学习的方法来对频谱接入，和信道分配进行动态规划，目的是为了合理运用现有资源，充分改善资源利用率，为实现动态频谱管理，和减少频谱资源需求，提供了一定的实践基础。1.2...
