我是靠谱客的博主 难过小馒头，最近开发中收集的这篇文章主要介绍强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法一、有模型和免模型二、Q表格三、免模型预测，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
策略最简单的是查找表（look up table）,即表格型方法(tarbular method),如MC,Q-learning和sarsa。
一、有模型和免模型
有模型：知道状态转移函数和奖励函数。如果有模型，智能体实际上没有和环境进行交互，且我们可以使用动态规划的方法解决——这是上一章的内容，上一章都是以有模型为前提的。
但是，当环境未知或模型太大难以迭代计算时，就需要免模型的强化学习。
二、Q表格
补充：强化=用下一个状态的价值更新当前状态的价值=单步更新=时序差分。
三、免模型预测
3.1 蒙特卡洛
可以改写成每次都更新的形式：
把1/N(st)视为学习率，可以写为：
蒙特卡洛相比起动态规划的优点：1.不需要知道环境 2.每次只更新样本所涉及的状态，适合参数量很大的情况，会更快。
蒙特卡洛方法只适用于有终点的模型。
3.2 时序差分
3.2.1 算法
当n取1时为单步TD，n取∞时为MC。所以n-step TD是TD与MC的权衡。
3.2.2 比较时序差分与蒙特卡洛方法
1. 时序差分是线上学习的
2.时序差分允许使用不完整的序列
3.时序差分允许使用没有终点的序列
4.时序差分利用了马尔科夫性，所以在符合马尔科夫性的环境中表现更好；MC是纯采样的方法，没有这样的要求。
3.2.3 TD,MC,动态规划的自举与采样
MC纯采样，动态规划纯自举，TD两者兼有。
最后
以上就是难过小馒头为你收集整理的强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法一、有模型和免模型二、Q表格三、免模型预测的全部内容，希望文章能够帮你解决强化学习 | 蘑菇书阅读笔记 | 第三章 表格型方法一、有模型和免模型二、Q表格三、免模型预测所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复