算法人生（7）：从“时间折扣策略”看“战胜拖延”（等待最佳时机版）

现代人拖延产生的原因有很多，比如因为害怕失败而拖延，因为完美主义倾向而拖延，不想走出“舒适区”而拖延等等， 今天我们要针对一个常见的原因“一直觉得没有准备好，想等最佳时机再开始”而产生的拖延来看，如何从“时间折扣策略”的思路中找到些启发。

时间折扣策略简介

在强化学习中，智能体需在环境中作出决策以最大化其长期累计奖励。时间折扣的原理正是为了帮助智能体在短期和长期奖励之间做出平衡。通过贴现未来奖励，智能体能更偏向于选择那些短期内带来更大总价值，但同时也会考虑到长期利益的决策。

时间折扣策略大致的步骤：

1. 初始化参数： 首先，它会设置贴现率γ，它决定了对未来奖励的重视程度。

2. 计算未来奖励的价值：在每个时间步 t，智能体会根据当前状态和行动获得即时奖励 R_t，并考虑接下来所有时间步的未来奖励。每一项未来奖励都要乘以相应的贴现因子γ^(t+n)，其中 n 是从当前时间步到未来奖励发生的时间间隔。

3. 更新价值函数： 使用强化学习算法（如 Q 学习等）更新价值函数或策略，将未来奖励贴现后的价值纳入考量。

4. 决策制定： 基于更新后的价值函数或策略，智能体在每个时间步选择一个动作，目标是最大化未来（贴现后）奖励的累计和。

5. 重复学习过程：智能体在与环境的不断交互中，持续迭代上述步骤，不断优化其策略，以便在考虑时间折扣的情况下，更好地平衡短期与长期的利益。

时间折扣策略思想的特色主要有 ：

1. 对未来不确定性的应对： 未来充满了不确定性，人们无法确切知道未来的收益是否能够兑现，因此倾向于将未来的奖励打折扣。 时间折扣作为一种保守的策略，减少了智能体对未来过于乐观或悲观的预期，使其更稳健地适应环境变化。

2. 决策效率与适应性： 时间折扣策略体现了在资源有限的情况下，如何更高效地分配资源以达到最大的总体收益。​通过时间折扣机制，智能体能够更快地学习到有价值的策略，提高其在动态环境中的适应能力。

3. 风险偏好与耐心程度： 贴现因子反映了个体的风险承受能力和耐心程度。 贴现率越低，说明个体越能忍受延迟满足，愿意为了长远利益牺牲眼前享受；反之，贴现率越高，则显示个体更倾向于短期收益，对未来的不确定性和等待成本也就越敏感。

综上所述，时间折扣策略是一种将未来事件的价值折算到现在价值的技术，它通过合理地设定贴现率，帮助智能体在复杂的决策问题中找到最优策略。 时间折扣背后的价值观和思想主要体现了在综合考量未来的不确定性、风险偏好和耐心程度后，在决策时对即时满足与长远利益之间的权衡。

在现代人普遍的拖延中，有一种原因是很多人常常陷入的一种心理陷阱：等待“最佳时机”。他们相信，在某个特定的、完美的时刻开始行动，将会得到最好的结果。然而，这种等待往往成为了行动的障碍，它会对个人的生活造成一些负面的影响：

● 机会的流失：在等待“最佳时机”的过程中，我们可能会错过真正的机会，因为机会往往不会等待我们准备好。

● 动力的消耗：正所谓一鼓作气再而衰三而竭。长期的等待会消耗我们的内在动力，使得当机会真正来临时，我们已经失去了最初的热情和决心。

● 自我怀疑的增加： 等待过程中的不断犹豫和反思，可能会让我们开始怀疑自己的能力和决策，增加了内心的不安和焦虑。

那么，我们应该怎么应用时间折扣策略来改善拖延呢？

●重塑行动认知，应对不确定性： 我们首先要意识到，接受并欣赏当下可以开始行动的任何状态，越早地开始行动，目标价值的折现损失就越少。追求所谓的“最佳时机”可能导致机会的流失，而立即行动所带来的经验和体会又是书本上难以获得的收获。不论结果是否完美，行动本身就蕴含着不可忽视的价值，它推动我们不断调整策略，才能逐渐靠近成功。可以像时间折扣策略那样，对未来美好的奖励结果进行打折，从而应对未来的不确定性，推动自己开始行动以验证未来的奖励。

● 分解任务，高效分配：将宏伟的大任务拆分成一系列短期可实现的小目标，不仅降低了行动的压力感，而且每达成一个小目标都会立刻带来成就感，相比长时间空等所谓最佳时机，积少成多的方式更能激发行动力，有效克服拖延心理。同时，在分解任务的过程中，目标会变得更聚焦，也能更知道当下的资源应该如何分配才可能获取更大的收益， 更有益于提升对高效分配资源的适应力。

● 结合风险和忍受度，设 定启动时间窗：就像系统会在指定时间点执行任务一样，为自己的拖延设立一个明确且的启动时间，这个启动时间应该是结合了个人对未来风险的承受能力和耐心度的基础上设定的，也就是自己能接受最晚开始的时间。 那到了那个启动时间，无论我们的准备状态如何（只要不是无法开始），我们都应坚定地在那个时间点开始行动，这样才能打破“等待最佳时机”的恶性循环。

生活中，难免对想做好的事情有更高地期待，所以要等待“准备好”，这种“配得感”在大多数场景上都是有益于个人发展的，它促使我们认真对待要做的事情。但是如果这份“配得感“过多，进而造成了拖延，我们就需要重视起来，因为相比较于“最佳时机”，“行动起来”更接近于事情的正向结果。

如果你也有关于走出拖延的想法，欢迎分享交流！