算法竞赛一本算法竞赛大全，全面深入解析算法专题、数据结构、模板代码。10个专题，330个知识点，102个章节视频讲解，书中解析了算法竞赛考核的数据结构、算法组织了每个知识点的理论解析和经典例题给出了简洁精要的模板代码通过明快清晰的文字、透彻的图解，实现了较好的易读性。
1、DDPG算法解析直接看名字就能看出DDPG（DeepDeterministicPolicyGradient）其实就是DPG（DeterministicPolicyGradient）的深度神经网络版本，它采用ActorCritic架构，用来解决连续控制问题。其实当初在我刚学了解决离散控制问题的方法的时候，就思考过如果换成连续控制问题该怎么办，然后再看DPG所使用的方法之后，发现跟我想的是一模一样....所以，DDPG解决强化学习问题的思路跟那些解决离散问题的AC架构方法并没多大区别，就是做了点微小的改动以适应连续问题罢了。
2、mod10算法解析模10算法，也称Luhn算法（以其创建者IBM科学家HansPeterLuhn命名）。是一种简单的校验公式，主要用于验证各种标识，例如，银行卡、信用卡、手机序列号(IMEI)、快递单号、交通卡号等。mod10算法广泛的用于生活的各处，主要目的是使用该算法区分有效号码与错误输入，或其他错误号码。mod10算法通过校验码对一串数字进行验证，校验码通常位于一串数字的末尾。
3、SAC算法解析上一篇文章介绍了利用确定策略来解决连续控制问题的DDPG，现在再来介绍一种非常牛的用随机策略来做连续控制的方法SoftActorCritic(SAC)。它是一种以offpolicy的方式来优化随机策略的算法，它的核心特点是熵正则化，策略的训练在最大化预期回报和最大化熵之间作了个权衡，在这一点上实际也跟exploration还是exploitation有重大关系，增加熵会导致更多探索，这可以加速之后的学习，还可以防止策略过早地收敛到一个糟糕的局部最优。
这里的熵指的是信息熵，它代表一个随机变量所有可能取值的自信息的加权求和:正如上式所示，随机变量越是随机，熵就越大。根据热力学第二定律，自然界本身无时无刻不处在于一个熵增的过程之中，即不断走向混沌，而人类的奋斗进程则是对抗自然的熵减过程，他期望变得明确和有序，强化学习的过程也是如此。