《强化学习小书》

《强化学习小书》
The Little Book of Reinforcement Learning

原始链接: https://github.com/alxndrTL/little-book-rl/

这是《强化学习小书》（Little Book of Reinforcement Learning）的 GitHub 页面。本书是对强化学习的简要介绍，涵盖从基础知识到应用算法的内容。在这个仓库中，除了书本身，你还可以找到配套资料。具体如下：在 `algos/` 文件夹下，包含书中涵盖的从 MC 到 PPO 等不同算法的 PyTorch 实现；在 `supplementary/` 文件夹下，包含对书中简要提到的动态规划算法的详细解释和严谨证明。这是我于 2021 年编写的文档。未来该仓库还将持续补充更多资料。你可以在此处打印一份。本书版本信息：本书采用非商业性知识共享许可协议（CC BY-SA 4.0）发布。

Hacker News 社区正在讨论 alxndrtl 所著的《强化学习小书》（The Little Book of Reinforcement Learning）。一些用户认为它可能是一本有益的入门读物，或许可以作为 Nathan Lambert 的《RLHF 之书》（RLHF Book）的前导，但也有人提出了批评意见。技术层面的批评者认为，该书缺乏必要的信息论基础，特别是在置信域方法的推导和奖励的概念化方面。另一些人则将当前的强化学习模型与生物的操作性行为进行对比，质疑这些人工智能系统是否充分复制了现实生物中那种微妙的、基于振荡的变异性。讨论帖中还有很大一部分内容围绕书名展开：用户们在争论“小书”（Little Book）这一命名究竟是在向《小施米尔》（The Little Schemer）和《深度学习小书》（The Little Book of Deep Learning）等经典技术系列致敬，还是一种通用的出版惯例。

This is the associated GitHub page of the Little Book of Reinforcement Learning.

This book is a short introduction to Reinforcement Learning, from the basics to applied algorithms.

In this repo, along with the book itself, you can find the supplementary material of the book. More precisely:

under the algos/ folder, the Pytorch-based implementation of the different algorihms covered in the book, from MC to PPO.
under the supplementary/ folder, you can find detailed explanations and rigorous proofs for the dynamic programming algorithms briefly covered in the book. This is a document I wrote in 2021.

More material is subject to be added along the way in this repo.

You can print one for youself here.

Versions of the book :

The book is distributed under a non-commercial Creative Commons license (CC BY-SA 4.0).

《强化学习小书》 The Little Book of Reinforcement Learning

《强化学习小书》
The Little Book of Reinforcement Learning