相信各位做LLM的朋友春节期间都已经被DeepSeek-R1给刷屏了，如果有阅读过DeepSeek-R1技术报告的朋友肯定都被其中的一个核心技术GRPO给吸引了，那么今天就来给大家过一过强化学习的瘾，仔细解读一波。作者：ethanGRPO技术背景GR ...

结果，令人出乎意料的事情发生了：只用不到10美元的成本，他就在一个3B模型上复刻了DeepSeek的顿悟时刻。 几乎就像是这个3B模型本身就具备了做出惊人事情的潜力，我们需要的，只是通过正确的方式赋予它一定的自主性而已。

【新智元导读】不到10美元，3B模型就能复刻DeepSeek的顿悟时刻了？来自荷兰的开发者采用轻量级的RL算法Reinforce-Lite，把复刻成本降到了史上最低！同时，微软亚研院的一项工作，也受DeepSeek-R1启发，让7B模型涌现出了高级推 ...

1. DeepSeek大模型采用更高效的模型架构方法、训练框架和算法，是巨大的工程创新，而非颠覆式创新。 2. 尽管DeepSeek在某些方面超越了OpenAI，但整体而言OpenAI仍然领先，尤其在推理模型和多模态方面。 3.

从市场角度来看，这项技术的进展无疑会影响到现有的AI产品格局。3B模型所展现的高效推理能力为未来的智能设备提供了一种新的设计思路。与市面上普遍采用高参数量模型的趋势相对，经济实惠且表现出色的轻量级算法将更受青睐，大幅降低构建AI模型的门槛。尤其对于初创企业和研发团队，换句话说，这无疑扩大了AI技术的应用范围，赋予他们在高度竞争市场中一较高下的机会。

Raz本人也表示，自己惊讶极了。 即使是一个非常简单的强化学习设置，并没有太多RL算法的复杂性（比如PPO、TRPO、GRPO等），也能在有限的计算资源 ...