下载掌阅APP，畅读海量书库
立即打开
本章介绍了基本的随机动态规划。为了避免在本文主体部分使用测度论，我首先讨论的是随机变量取有限可能值的经济体，这个限制使我们可以使用马尔科夫链而非马尔科夫过程来表征不确定性。由于许多常用的随机过程，如基于正态或一致分布的随机过程都不在这个范围内，我介绍了如何将这些结果扩展到随机变量可以被连续随机变量或者混合连续以及离散随机变量代表的情形。自始至终，我的目的是帮助读者基本能够理解随机动态规划的工具以及这些工具如何应用在宏观经济模型中。为此，我做了很多明智的选择，而非试图给出最普遍的结论。从头到尾，我集中考虑稳态问题，也就是等价于第6章的问题6.2和问题6.3的问题。在随机状态下使用第6章中的相同变量，可以得出与定理6.11和定理6.12类似的定理，而这两个定理适用于不确定状态下的非稳态优化问题。为了节省篇幅，我略去了这些结果。
我使用一个类似于第6章用到的符号。首先引入随机变量
，其中
。请注意集合
是有限的因而是紧的，这个假定极大地简化了分析。令
t
期的即时效用函数为
其中对于
K
≥1，有
以及
。(16.1)式直接扩展了第6章形式为
U
(
x
(
t
)，
x
(
t
+1))的收益函数，使收益函数直接成为随机变量
z
(
t
)的函数。和往常一样，回报以贴现因子
β
∈(0,1)折现，
x
(
t
)仍然表示
t
时期的状态变量（状态向量），
x
(
t
+1)表示控制变量（或控制向量）。状态变量和随机变量的初始值
x
(0)和
z
(0)是给定的。
与第6章问题6.2的另一个区别是对 x ( t +1)施加的约束不再是 x ( t +1)∈ G ( x ( t ))。相反，约束包含了随机变量 z ( t )，表达式如下
其中 G ( x ， z )仍然表示集值映射（对应）：
假定随机变量 z ( t )服从（一阶）马尔科夫链。 [1] 马尔科夫假设隐含的重要特征是 z ( t )的当期值仅取决于上一期的值 z ( t -1)。其数学表达式为
马尔科夫链表示的不确定性下经济模型的最简单例子是随机变量取多个有限值，且其分布独立于时间。在此情形下，显然Pr[ z ( t )= z j ︳ z (0)，…， z ( t -1)]≡Pr[ z ( t )= z j ]，马尔科夫特征轻易得到满足。更一般的情形下，马尔科夫链能让我们就随机变量与时间相关的经济环境建立模型。马尔科夫链广泛运用于研究随机过程的概率论以及动态经济分析的各个领域。尽管马尔科夫链理论比较容易理解，但对于随机动态规划的处理而言，并不需要大量这类理论。
马尔科夫特征不仅能够简化经济模型的数学结构，也能让我们使用简洁的符号刻画随机变量 z ( t )的概率分布。我们也可以把马尔科夫链表示为：对任意 j ， j′ =1，…， N ，有
其中对所有 j ， j′ ， q jj′ ≥0成立，并且对任意 j′ =1，…， N ，下式成立
这里 q jj′ 也被称为转移概率(transition probability)，表示随机状态从 z j′ 转移到 z j 的概率。我将在下一节的证明中使用这个记号。
为了理解这种把随机因素引入动态最优化的特殊方式如何应用于经济问题中，让我们从一个简单的例子开始，这样也利于引入某个其他记号。
例16.1 回顾最优增长问题，目标是最大化
和往常一样，
c
(
t
)代表
t
期的人均消费，
u
(
t
)表示即时效用函数。这个问题的最大值与迄今为止研究的问题不同，仅仅是因为出现了期望算子
，表示以
t
=0期可得信息为条件的期望值。这里的期望值是必要的，因为人均消费的未来值是随机的（当其依赖于未来
z
的实现值）。具体地，假定（人均）生产函数采取如下形式
其中
k
(
t
)表示资本劳动比，
表示一个随机变量，这个随机变量影响给定投入情况下有多少产出。在这个框架下，对
z
(
t
)最自然的解释就是将它看作随机全要素生产率项。资源约束（写成等式的形式）采取如下形式
给定 k ( t )≥0，(16.2)式对所有 k (0)>0成立。 δ 依然表示折旧率。这个表达式说明消费水平 c ( t )一旦被选定，随机变量 z ( t )也会实现。因此， c ( t )取决于 z ( t )的实现值，实际上是取决于 z ( t )的整个历史值。具体地，我们定义
为到
t
期为止
z
(
t
)的历史。作为传统，这个历史值不包含
z
(0)，因为
z
(0)被看作既定的，这样就能保证
z
t
确实有
t
个元素。特别是，令
(
t
倍乘积空间），使
。给定
k
(0)，
t
期的消费水平可以大致表示为
这仅仅表示
t
期的消费是那一时点观察到的整个随机变量序列的函数。显而易见
t
期的消费不可能依赖于随机变量的未来实现值——那些值还未曾实现。因此
c
(
t
)=
的函数形式非常自然。当然，并非所有的函数
都可以当作可行规划，因为这样可能违反资源约束（稍后我将回到额外约束以确保可行性）。现在假设消费水平是资本存量历史的函数也没什么意义，因为这是由消费水平的历史以及随机变量的实现值内生决定的。（当我们处理这个问题的递归形式时，我们把消费写成当前资本存量以及随机变量当期值的函数。)就(16.1)式而言，此处
x
(
t
)=
k
(
t
)，所以
其中第二行简单地用到了等号形式的资源约束，第三行定义了函数
。使用这个记号，可行性很容易表达，因为根据定义，
只依赖于到
t
期为止的随机冲击的历史值，而不依赖于
z
(
t
+1)。此外，从资源约束可得如下表达式：对于所有的
和
，有
于是，最大化问题可被表示为
约束条件为(16.3)式，对所有
以及
t
=0，1，…，
和
[
z
t
]≥0，成立，且初始条件为
和
z
(0)。也可以利用(16.1)式引入的即时收益函数
描述这一最大化问题。在这种情况下，最大化问题采取如下形式：
其中
。
请读者注意标注时间的惯例：
是
t
期的资本存量值，该值来自
t
-1期的投资，因此依赖于到
t
-1期为止的随机冲击的历史，即
z
t-1
。而
是直到
t
期的随机冲击历史
z
t
已知的条件下，（在
t
期做出的）下一时期的资本存量选择。
这个例子也可以用来表明同样的最大化问题如何以递归形式表达。既然 z ( t )遵从马尔科夫链， z ( t )的当前值既包含可获得的用于消费及未来资本存量的信息，也包括 z ( t +1)随机分布的信息。因而，我们自然会预期决定下一期资本存量的策略函数采取如下形式：
同理，递归表达式采取如下形式：
其
表示以
z
的当前值为条件的期望值，同样也包含了随机变量
z
服从马尔科夫链的事实。要注意的是，这个表达式与(16.4)式不同，在(16.4)式中，期望值包含了
z
的全部未来值，而(16.6)式的期望值只包含
z
的下一期值，即
z′
。因而，我们可能希望通过
的形式区分这种期望值。但是因为这个符号比较烦琐，而且我们设定的情形清楚地区分了期望值究竟是包含了全部未来值还是只包含下一期的值，因此我不使用这个符号。
让我们假定这个规划有解，也就是说，从资本劳动比
k
和随机变量
z
出发，存在一个可行规划能够达到值
V
(
k
，
z
)。因此，下一期能够达到最大值的资本存量集合可以表示为一个对应集合Π(
k
,
z
)，其中
。对于任意
π
(
k
,
z
)∈Π(
k
,
z
)，我们有
如果该对应集合 π ( k ， z )的取值是单一的，则具有唯一定义，下一期资本存量的最优选择可以表示为(16.5)式。
例16.1已经揭示了一个随机优化问题如何表示为序列形式，并提示我们如何以递归形式表达这个问题。现在我将更加系统地处理这个问题。另一个规划用
表示。这个规划规定了
t
+1期的向量
对于任意
的值（即
。使用和第6章同样的符号，序列问题采取如下形式：
问题16.1
约束条件为：给定
,
于所有t≥0成立。
t
=0期的期望值记为
，以
z
(0)和所有可能的无限序列(
z
(1)，
z
(2)，
z
(3)，…)为条件。
和
始终可以交替使用。对这个问题，在本章其余部分以及后续各章中，我按照惯例，记
，对序列
写出最大化问题（把
当作给定的）。函数
V
∗
以
x
为条件，因为这是已知向量
x
的初始值，也以
z
(0)为条件，因为
x
(1)的选择是根据
z
(0)做出的（期望值也以
z
(0)为条件）。最后，问题16.1的第一个约束条件保证了序列
是可行的。
类似于例16.1的(16.6)式，对应于该问题递归形式的泛函方程可以表示为如下形式：
问题16.2
对所有
x
∈
X
以及
成立。
此处
是一个实值函数，
y
∈
G
(
x
,
z
)是约束条件，表示下一期的状态变量是随机变量
z
实现值的函数。问题16.2直接把第6章问题6.3的贝尔曼方程扩展到随机动态规划框架。我们可以把问题16.2写成如下表达式
对所有
x
∈
X
以及
z
∈
Z
成立，其中
Q
(
z
，·)表示状态转移函数，给出了
z
的当期值在既定情形下
z′
（明天的状态变量）的分布，
表示给定
z
的当前值，函数对于马尔科夫过程的勒贝格积分。这个符号很有用，它强调了期望值只不过是勒贝格积分（因而包含了常规的加法运算）。记住期望值和积分之间的等价性非常重要，这既有助于恰当地理解理论，也有利于我们清楚地认识随机方法应用可能存在哪些困难。
用清晰的勒贝格积分取代期望值不论在严谨性还是洞察力方面几乎没有任何益处，因而除非绝对必要，我不会采用勒贝格积分。
和第6章一样，我们首先引入从初始值 x ( t )和随机变量的值 z ( t )出发的可行规划的集合：
我们用
表示
的一个元素。与第6章相反，Φ(
x
(0)，
z
(0))的元素不是
的无限向量序列，而是可行规划
的无限序列，该规划对任意历史值
，任意
t
=0，1，…赋予一个值
。我们感兴趣的是使用问题16.2的形式刻画问题16.1的解，因此我们将研究(1)什么时候问题16.2的解
V
(
x
,
z
)与解
V
∗
(
x
,
z
)重合，以及(2)什么时候最大化规划Π(
x
,
z
)⊂Φ(
x
,
z
)的解也会产生问题16.1的最优可行规划（假定两个问题都有能够达到上确界的可行规划）。回顾一下，我们定义的最大化规划Π(
x
,
z
)的集合使对于任意
，都有
现在引入类似于第6章的假设6.1至假设6.5，并对定理6.1至定理6.6作适当推广。
假设16.1
对所有
x
∈
X
以及
z
∈
，对应集合
G
(
x
,
z
)是非空的。而且对所有
x
，期望贴现效用的极限
存在且有限。
假设16.2
X
是ℝ
K
的紧子集，
G
是非空值、紧值、连续的。并且令
{
，假定
U
:
X
G
→ℝ是连续的。
注意假设16.2只要求
X
的紧性，因为考虑到
由有限元素组成，故它一定是紧的。而且，
U
在(
x
，
y
，
z
)内的连续性等价于在(
x
，
y
)的连续性，既然
是有界集合，所以我们赋予它离散拓扑空间，因而连续能够自动得到保证（见附录A的事实A.12)。和第6章一样，这些假设能够让我们建立一系列关于问题16.1和问题16.2之间的等价性以及上述动态优化解的有用结论。此处我列举出这些结论而不给予证明。部分证明见第16.2节，其余的留做习题。
第一个结论是第6章的定理6.1的一般化。
定理16.1
(
值的等价性
) 令假设16.1成立，对任意
x
∈
X
以及
z
∈
，问题16.1的解
V
∗
(
x
,
z
)也是问题16.2的解。而且，问题16.2的解
V
(
x
,
z
)同时也是问题16.1的解，即对所有的
x
∈
X
以及
z
∈
，均有
。
下一条定理确立了随机问题的最优性原则。正如第6章一样，最优性原则能够把最优规划的回报分成两部分：当前回报以及预期的持续回报。
定理16.2
(
最优性原则
) 令假设16.1成立。对于
x
(0)∈
X
以及
z
(0)∈
，令
是能够达到问题16.1的最优解
V
∗
(
x
(0)，
z
(0))的可行规划。则对
t
=0,1，…，我们有
而且，如果
满足(16.9)式，则该值也是问题16.1的最优值。
下一结论确保了值函数的唯一性以及解的存在性。
定理16.3(解的存在性)
令假设16.1和假设16.2成立，则存在一个唯一满足(16.7)式的函数
V
:
X
×
→ℝ。对于任何
z
∈
，函数
V
对
x
是连续有界的。进而，对任意
，存在一个最优规划
(0))。
接下来的结果和第6章的结论一样，需要额外的假设来保证值函数的凹性、单调性以及可微性。
假设16.3
U
是凹的。也就是说，对任何
和
,
z
)∈
x
G
，有
此外，如果 x ≠ x′ ，则有
另外，
G
(
x
，
z
)对
x
是凸的。也就是说，对任何
以及满足
y
∈
G
(
x
，
z
)和
y′
∈
G
(
x′
，
z
)的
x
，
x′
，
y
，
y′
∈
X
，有
假设16.4
对任意
y
∈
X
以及
对于前
K
个自变量严格递增；
G
对
x
是单调的，因为
x
≤
x′
意味着
对任意
z
∈
成立。
假设16.5 U ( x ， y ， z )在定义域 X G 的内部对 x 连续可微。
定理16.4
(
值函数的凹性
) 令假设16.1—16.3成立，对任意
z
∈
，满足(16.7)式的唯一值函数
V
是
x
的严格凹函数。进而，最优规划可表示成
，这里
是一个连续的策略函数。
定理16.5
(
值函数的单调性
) 令假设16.1、假设16.2和假设16.4成立，令
为(16.7)式的唯一解，则对任意
z
∈
，
V
对
x
是严格递增的。
定理16.6
(
值函数的可微性
) 令假设16.1、假设16.2、假设16.3和假设16.5成立，并令
π
表示上述定义的策略函数，同时假定
x′
∈Int
X
，以及对任意
z
，则
V
(
x
,
z
)在(
x′
，
z
)可微，且对
x
的梯度由下式决定：
这些定理在第6章有准确的对应。既然现在值函数取决于随机变量 z ，可以得到另一个单调性结果。让我们引入如下假设：
假设16.6
1.
G
对
x
是单调的，也就是说，
z
≤
z′
意味着
对任意
x
∈
X
以及
z
，
z′
∈
且
z
≤
z′
成立。
2.对于任意
是
z
的严格增函数。
3.
z
的马尔科夫链是单调的，也就是说，对任意非递减函数
对
z
也是非递减的(
z′
是
z
的下一期值）。
为了解释这个假设的第三点，假定当
j
<
j′
时，有
z
j
≤
z
j′
。这个条件能够满足，当且仅当对任意
以及任意
成立（见习题16.1)。
定理16.7
(
值函数的单调性
Ⅱ) 若假设16.1、假设16.2以及假设16.6成立，令
是(16.7)式的唯一解，则对于任意
x
∈
X
，
V
对
z
是严格递增的。
本小节将证明定理16.1至定理16.3。定理16.5至定理16.7的证明类似于第6章相应定理的证明，留做习题。
在证明上一节给出的定理之前，我们先要引入某个额外的定义。对任何可行的
以及任何初始条件
x
(0)∈
X
以及
z
(0)∈
，定义
请注意，对任意
x
(0)∈
X
以及
z
(0)∈
，有
鉴于假设16.1保证了所有解都是有界的，因而 V ∗ 一定满足对于所有的 x ∈Φ( x (0), z (0))
并且对任意 ε >0，一定存在
使
V
成为问题16.2的解的条件也是类似的。对于任意
以及任意
，有如下不等式
而且对任意 ε >0，存在
使
下一条引理是第6章引理6.1的一般化表示。
引理16.1
令假设16.1成立，则对于任意
以及
，有
证明 见习题16.2。
定理16.1
的证明
假定对任意
是问题16.1的解（因而(16.11)式和(16.12)式成立），则(16.12)式意味着已知
x
(1)∈
X
时，对于每个
ε
>0以及
，必定存在
使
于是，令 j′ 使 z (0)= z j′ ，我们得到
其中第二行用到事实
，第三行用了条件期望值
的定义。接下来，令
，则(16.11)式、引理16.1以及上述不等式意味着如下结果：
由于对任意 ε >0，最后一个不等式都成立，函数 V ∗ 必然满足(16.13)式。
下一步，任取
ε
>0。根据(16.12)式，一定存在一个替代规划
ε
使
条件(16.11)式表明对任意
z
(1)∈
,
于是根据引理16.1，对任意 ε >0,
所以 V ∗ 也满足(16.14)式。这个论述保证了问题16.1的任何解都满足(16.13)式和(16.14)式，因而也是问题(16.12)式的解。
为了证明该逆命题，注意(16.13)式隐含着对任意
，
z
(0))，有
现在对于
n
∈ℕ，递归替换掉
,
并取期望值，得到
根据定义，我们有
并且根据假设16.1，有
这就证明了(16.11)式。
下一步，令
ε
>0。根据(16.14)式，对于任意
ε
′=
ε
(1-
β
)>0，有
使得
令
，定义
。再次递归替换掉
并取期望值得到
其中最后一步成立用到了
以及
这就确保了 V 满足(16.12)式，证毕。
定理16.12的证明 假设
是一个能实现问题16.1的解的可行规划。令
是从
t
≥1期开始延续该规划。
我们首先证明对任意
t
≥0，
x
t
∗
达到了从
以及任意
z
(
t
)∈
出发的上确界，换言之
证明采用归纳法。无疑这个假说对于
t
=0是满足的，因为根据定义，
能够实现
V
∗
(
x
(0)，
z
(0))。
下一步假定该表达式对
t
成立，以至于
x
t
∗
达到了从
和任意
z
(
t
)∈
出发的上确界。则(16.15)式对于
t
和
z
(
t
)∈
成立。现在运用这个关系，我们将证明(16.15)式对于
t
+1成立，
达到了从
和任意
出发的上确界。
首先，注意到(16.15)式隐含着
令
,
为从状态向量
和随机变量
z
(
t
+1)出发的任意可行规划。据定义，
。既然根据假设
是从
和
z
(
t
)出发的上确界，我们也可得到
对任意 x t+1 成立。将这个不等式与(16.16)式结合得到
对所有
成立。
与(16.17)式矛盾。这就完成了归纳法的步骤，并保证了
达到了从
和任意
z
(
t
+1)∈
出发的上确界。(16.15)式也隐含着
这就构成了(16.9)式，因而也完成了定理前半部分的证明。
对于第二部分，假设对于
，(16.9)式成立。反复替代
x
∗
得到
既然
V
∗
有界，
，从而
因而 x ∗ 达到了问题16.1的最优值。证毕。
现在我运用问题16.2中的值函数 V 证明定理16.3。另一个替代的证明直接应用问题16.1，将在习题16.3阐述。
定理16.3的证明
考虑问题16.2。根据假设16.1和假设16.2，一定存在某个M<∞，使
对所有
成立，则对所有
x
∈
X
以及
成立。现在考虑函数
，其中C(
X
×
)表示定义在
X
×
上的连续函数的集合，其中
X
被赋予上确界范数
，
被赋予离散拓扑（回顾附录A的事实A.12)。C(
X
×
)的所有函数都是有界的，因为它们是连续的并且
X
和
都是紧的。
现在将算子 T 定义为
假定
V
(
x
，
z
)连续且有界。
也是连续且有界的，因为它仅仅由下式决定
定义
j′
使
z
=
z
j′
。而且
U
(
x
，
y
，
z
)在
X
G
上是连续有界的。因而，(16.18)式右侧的最大化问题就是一个定义在紧集合上的最大化问题，据威尔斯特拉斯定理(Weierstrass Theorem，即定理A.9)，该问题有（有界）解。因而，算子
T
定义良好，把定义在集合
X
×
上的连续有界函数空间C(
X
×
)映射到自身。可以验证，算子
T
满足压缩的布莱克威尔(Blackwell)充分条件（定理6.9)。因此，应用定理6.7可知，(16.18)式的一个唯一的不动点
存在，而且是问题16.2的唯一解。
现在考虑问题16.2的最大化问题。既然
U
和
V
都是连续的，而且
G
(
x
,
z
)是紧值的，我们可以再次应用威尔斯特拉斯定理得到结论：一定存在
y
∈
G
(
x
,
z
)能够达到极大值。这就定义了问题16.2的极值集合
。令
，其中
对于所有
t
≥0及任意
z
(
t
)∈
成立。则根据定理16.1和定理16.2，
x
∗
也是问题16.1的最优解。
定理16.4至定理16.6的证明与第6章定理6.4至定理6.6的证明类似，留做习题（见习题16.4至习题16.6)。定理16.7的证明类似于定理16.5，留做习题16.7。
第6章中，欧拉方程和横截性条件起到核心作用。而现在，我们必须掌握随机欧拉方程，而非标准的欧拉方程。尽管与标准的欧拉方程相比，随机欧拉方程在概念上并不涉及更多内容，但它并不是很好运用。有时候可以直接运用随机欧拉方程，正如在下文第16.5节中研究的持久收入假说模型中所示。而在其他时候，我们可以结合随机欧拉方程以及合适的横截性条件刻画最优规划的定性特征。
我们沿用第6章的处理方式并基于第16.1节的结论。使用星号(*)和 D 分别表示最优值和梯度。应用假设16.1和定理16.6，我们可以把内部最优规划的必要性条件表示为
其中
表示状态向量的当前值，
z
∈
表示随机变量的当前值，
表示值函数在下一期状态向量
y
∗
处的梯度。现在使用动态规划包络引理的随机等价公式并将(16.8)式对状态向量求导，可得如下结果：
因为该等式以随机变量的实现值
z
∈
为条件，所以不包含期望值。请注意，此处
y
∗
是
π
(
x
，
z
)的简写。使用这个记号并结合(16.19)式和(16.20)式，我们得到了随机欧拉方程的经典形式
其中，和第6章一样， D x U 表示 U 对前 K 个变量的梯度向量， D y U 表示 U 对第二组 K 个变量的梯度向量。用这个记号表示该方程与该问题的序列版本更具一致性，随机欧拉方程采取如下形式：
在这种情形下，我们如何表述横截性条件？横截性条件仍然要求当规划期界趋于无穷时，贴现后的状态变量边际回报趋于零。显然，在随机环境中我们必须观察期望回报。目前只要期望条件于
t
=0时刻的可得信息就足够了，也就是
z
(0)∈
。结果，与随机欧拉方程相关的横截性条件如下
下一条定理把第6章的定理6.10推广到不确定性的环境。特别是，该定理表明横截条件和(16.21)式中变形后的欧拉方程是问题16.1以及问题16.2求解的充要条件。
证明 证明类似于第6章中定理6.10的证明。
为可行序列 x ∗ 和 x 的目标函数实现值的差。
根据假设16.2和假设16.5，
U
是连续、凹的以及可微的，所以对于任意
z
∞
∈
∞
以及
x
∈Φ(
x
(0)，
z
(0))，有
因为该不等式对任意
都成立，两边取期望值得到
(
必要性
) 必要性的证明与定理6.10中必要性的证明如出一辙。特别是，和定理6.10一样，再次定义
考虑一个可行方案
，使
其中某个扰动
对于每一个
z
t
∈
t
以及足够小的
ε
>0成立(
x
是可行的，因为
是内部的）。这就保证了随机欧拉方程(16.21)式的必要性。选择一个可行规划
，并应用(16.21)式得到
如果违背了(16.22)式，第一项的值可能为负并且当
ε
→0时，该值仍然为负数。这就与
是最优规划相矛盾，从而证明了定理的必要性。
如果
z
不是取有限多值会怎样？例如，
z
可以表示为一般的马尔科夫过程，在紧的度量空间取值。最简单的例子就是一维随机变量
z
(
t
)，由过程
z
(
t
)=
ρz
(
t
-1)+
σ
ε
(
t
)决定，其中
ε
(
t
)服从标准正态分布。某种意义上，我们关心的大多数结果都可以概括为这样的情形。另一方面，我们更加应该关注如何构建这些问题，不管是问题16.1的序列形式还是问题16.2的递归形式。在此情形中，主要困难是如何保证有适当定义的可行规划，针对当时的可得信息集合要求这些规划是可以测度的。为了避免在测度论上花过多的篇幅，我假定
和
X
都是紧的，并对收益函数和约束条件施加足够的连续性（保证可测最优规划的存在性）。在这些假设下，我将介绍一般马尔科夫过程下的随机动态规划的主要定理。自始至终，我使用期望值符号代替明确的积分形式。
首先，我们把
定义为ℝ的紧子集，ℝ包含了由有限数量的元素构成的
，特殊情形下，
也可以对应于一个闭区间。假定
z
(
t
)∈
代表该设定下的不确定性，并假定它服从马尔科夫过程，也就是说
马尔科夫过程也可以用上文定义的状态转移函数
Q
(
z
，·)表示。再次用符号
表示随机变量实现值的历史。目标函数和约束集合的表示方法和第16.1节一样，在此用
表示可行规划，该规划相对于由每个
z
t
∈
t
产生的信息集合也必须是可测的。将
z
t
以后的可行规划集表示为
。于是起始于
z
(0)的可行规划记为
。同样，当函数
V
是问题16.2的解时，我们将
定义为满足下面方程的所有
π
(
x
，
z
)的集合
最后，和第16.1节中同样的假设也是必要的。此外，我们现在要求相关函数对适当的信息集合是可测的，并且对所有
和
，对应
(
t
))存在一个可测选择。然而假设16.1和假设16.2施加的连续性足够保证可测性。我们唯一需要补充的额外假设如下[有时被称为“菲勒”性质(Feller Property)]：
当
Q
是马尔科夫链时（仅仅是赋予
离散拓扑），这个假设自动满足。
定理16.11
(
值函数的凹性
) 令假设16.1至假设16.3和假设16.7成立，对任意
则满足(16.7)式的唯一的值函数
V
是
x
的严格凹函数。进而，最优规划可以表示成
，这里，对任意
z
∈
，策略函数
π
:
对
x
是连续的。
定理16.12
(
值函数的单调性
)在假设16.1、假设16.2、假设16.4以及假设16.7成立的条件下，满足(16.7)式的唯一的值函数
V
：
X
×
→ℝ对任意
z
∈
，对
x
是严格递增的。
定理16.13
(
值函数的可微性
)在假设16.1、假设16.2、假设16.3、假设16.5和假设16.7成立的条件下，令
π
表示上述定义的策略函数，并假定
x′
∈Int
X
，以及对任意
。则
V
(
x
,
z
)在
x′
连续可微，且对
x
的梯度由下式决定：
这些定理的证明并不困难，但比较冗长需要多加小心。斯托基、卢卡斯和普雷斯科特(Stokey，Lucas and Prescott，1989，第9章）给出了这些定理的证明，他们也建立了必要的测度理论以及某些一般马尔科夫过程理论，来表述这些定理的稍微更一般化的版本。
最后请注意，定理16.8在此情形仍然适用，因为定理的表述或证明并没有用到 z 服从马尔科夫链的事实。
下面，我将主要介绍随机动态规划法的若干应用。此外，涉及随机增长和不完全市场增长的一些最重要的应用，将留待下一章展开。在每一项应用中，我会指出使用递归公式和随机动态规划方法将如何简化分析。
解决收入不确定家庭的平滑消费问题，是随机动态优化的最重要应用之一。这一问题最早由欧文·费雪(1930)探讨，之后米尔顿·弗里德曼在其关于消费理论的经典著作中首次引入了系统分析。然后通过罗伯特·霍尔(Robert Hall,1978)对动态消费行为的开创性研究，持久收入假说成为最著名的宏观经济模型之一。
考虑一个最大化其终生效用贴现值的家庭，即
其中 c ( t )≥0通常表示消费。首先，假设效用函数 u (·)严格递增，连续可微，并且是凹函数，其导函数表示为 u′ (·)。
该家庭可以通过恒定的利率 r >0自由借贷，因此其生命周期预算约束可以表示为
其中
a
(0)表示其初始资产，
w
(
t
)表示劳动收入。假设
w
(
t
)在集合
中随机取值，这一设定对应的是，总冲击或单个冲击引发的家庭劳动收入的潜在波动。为简化分析，我们假定
w
(
t
)服从跨期独立分布，并且
w
(
t
)=
w
j
的概率为
q
j
（自然也有
。最终(16.23)式的生命周期预算约束将成为随机约束，因此，我们要求这一约束几乎是完全确定的（即概率为1)，从而避免约束外的样本路径具有正的概率。
生命周期预算约束的随机性具有重要的经济含义。特别是，虽然没有明确的借贷约束，但是生命周期预算约束概率必定为1的事实，意味着内生的借贷约束。例如，假设 w 1 =0和 q 1 >0（这一设定对应失业和零劳动收入）。其次，对于任何一个小于无穷的时间序列，即 T <∞，该家庭收入为零的概率都是正值。然后，如果家庭持有资产曾经为负，即 a ( t )<0，那么即便它将后期的消费减少至0，它违背生命周期预算约束的概率仍将为正。因此，将存在一个内生的借贷约束，其形式如下
其中
w
1
表示集合
中
w
的最小值。
我们首先把消费平滑问题看作序列问题来解决，即寻求一个可行的消费序列
这一过程可以直接通过构建拉格朗日函数完成。需要强调的是，尽管生命周期预算约束(16.23)式是唯一的，但这并不意味着我们应该设置单一的拉格朗日乘子λ。这是因为消费规划的产生，是以截止到特定时期的所有事项的实现情况为前提的。具体地说，
t
期的消费是以到当期为止的一切冲击，即
为条件的。事实上，本书使用符号
的目的在于强调
t
期的消费是该期之前的收入实现情况，即
w
t
的映射。在这一基础上，由于还有额外的信息反映家庭收入和支出，我们可以自然地联想到，作为揭示财产边际效用的拉格朗日乘子，同样取决于截止到
t
期的冲击
w
t
。所以，我将拉格朗日乘子写作
这个问题的一阶条件可表示为
这一条件要求消费边际效用的贴现值等于收入边际效用
的贴现值，且两者都由序列
w
t
决定。尽管一阶条件具有经济含义，但是只有在收入边际效用
的运动轨迹已知的情况下，它才具有意义。该运动轨迹并不能通过一阶条件直接导出。在对序列问题的一个替代方程中，消费取决于所有相关的时间序列，并引入所有可能促成消费的价格。这一方程更加可行，并且能够给出类似于下文递归分析的结果。第17章将分析具有不确定性的新古典增长模型的竞争均衡，届时我将引入这一或有索取(contigent claims)方程。
现在我们使用递归方法解决问题，这能保证结果足够清晰。流量预算约束可以表示为
其中
a′
表示下一期的资产持有量。此外，上式隐含着
。然后由于家庭价值取决于当期资产持有量
a
和当期收入
w
，那么其方程可表示为
其中因为
w
具有跨期独立分布的性质，所以延拓值的期望值并不以
w
的即期实现为条件。类似于第6章例6.5中对本问题非随机情形的讨论，我们有必要对可行资产集合加以限定，以便应用本章第一节中的定理16.1—16.6。具体来说，本书取
其中
w
N
是劳动收入的最大值。然后我们可以施加
a
(
t
)∈[0，
]的限定，并再次验证使这一限定不影响结果的条件（尤其是使
a
(
t
)总在集合之内的条件。详见习题16.11)。
这一最大化问题的一阶条件为
其中t表示考虑
t
期所有信息的期望值。我们注意到
同样表示收入的边际效用，因此(16.25)式与(16.24)式是相似的。这一引申的命题得自定理16.6中的包络条件(16.10)式，具体结论为
将上式与(16.25)式合并，我们就能在持久收入假说下得到著名的随机欧拉方程，也就是
值得注意的是，上式右边包含 t +1期的消费边际效用的期望值。
如果即期效用函数是二次形式，那么该方程将更加简单，并且可能有更深刻的含义。比如，我们取效用函数
其中 ϕ 充分大，保证 u (·)在相关区间内随 c 单调递增。将这一二次式方程代入(16.26)式，我们将得到霍尔提出的著名的随机方程
其中 κ ≡ β (1+ r )。上式的一个重要预测是，当期收入或过去收入这样的变量无法预测将来的消费增长。大量的经验研究文献着重进行过度敏感性检验，研究这一现象适用于总量数据还是个体数据。结果显示，未来消费对当期收入的依赖支持了过度敏感性的论断，从而证伪了(16.27)式。这一否定的结果也被视为支持信贷约束（作为上述内生借贷约束的补充）的依据。然而，如果效用函数不是二次式的，过度敏感性依然可以在没有信贷约束的条件下存在（参见Zeldes，1989；Caballero，1990)。
下面将介绍应用动态规划方法解决的另一个经济问题。另外，关于本书第四篇提出的技术内生性问题，这个例子也可以为我们提供一种兼具替代性和补充性的思考角度。
考虑一个风险中性的企业家，其目标函数可表示为
该企业家的消费由当期创造的收入决定（不存在储蓄和借贷）。如果该企业家使用质量为 a ( t )的企业家才能，其 t 期 [2] 的收入将等于
在
t
=0时，该企业家的初始状态为
a
(0)=0。在之后的每一个时期，他或者将自己发现的技术投入生产，或者利用当期搜寻新的技术。我们假设在该企业家从事技术搜寻的每一个时期，他都可以从一个定义在闭区间
上的时间不变分布函数
H
(
a
)中，得到一个独立的结果。
所以在每一个时期，该企业家都要决定，或是搜寻新的技术，或是利用截止到当期的所得技术进行生产。由于不存在储蓄和借贷，他只能简单地消费完其当期收入，即 c ( t )= y ( t )。
关于本书中已经讨论过的某些观点，搜寻创意的问题给出了一个稍微不同的视角。到目前为止，在我们研究的内生技术变化模型中，企业家都要做出一个影响其可用技术的重要选择：搜寻相对于前期生产是一笔昂贵的支出，但也可能改善企业家的可用技术集合。而且，这一经济决策也关系到技术进步和技术采纳两个标准模型之间的权衡：或者使用现有技术进行生产，或者把新一轮的搜寻作为一项投资，以期发掘更优的技术。在内生技术模型中，这个权衡对投资新技术的激励是一种补充。
这里我将应用动态规划方法分析搜寻创意的问题。首先，我们要把企业家面临的最大化问题写成一个序列问题。第一步是明确行为人的决策规则的阶次。具体来说，令
为该企业家在过去
t
期观测到的技术序列，如果他在
s
期从事生产，那么
a
(
s
)=0。于是我们得到
。然后该企业家的决策规则可以表示为
这表示行为人在
t
期的行为：或是利用其前期已得到的技术
a
(
t
)进行生产，或者选择
q
(
t
)=“搜寻”，即利用当期搜寻一项新的技术。令
ρ
t
为从A
t
到
a
(
t
) ∪{搜寻}的函数集，而
∞
为上述函数的无穷序列集。于是，该企业家面临的搜寻新技术的问题，最一般的表达形式为
约束条件为：对于某个
s
≤
t
以及
a
(
s
)=
a
，如果
q
(
t
)=“搜寻”，则
c
(
t
)=0，反之，如果
q
(
t
)=
a
，则
c
(
t
)=
a
。
表示期望算子。将问题表达成这一形式，自然会使它看起来复杂，甚至令人生畏。这样做的目的是为了表明，对于某些模型，即便序列问题看似相当复杂，我们依然可以较容易地使用动态规划方法进行处理。
为了说明这一点，我现在使用动态规划方法，递归地表示这个优化问题。我们将通过两个观察结果（都将在习题16.12中得到证明），简化这个问题的递归形式。首先，因为问题是静态的，所以我们可以摒弃除当期以外的所有技术，于是，企业家价值的自变量就可以被简化为当期技术α，即 V ( a )。其次，我们假设一旦企业家使用某一技术 a 进行生产，他将永久沿用这一技术，而不是在未来某个时期搜寻新技术。在问题的静态条件下，这一观察同样是直观的：如果该企业家愿意在 t 期使用技术 a 进行生产，而不是搜寻新技术，那么他在 t +1期会做出同样的选择。后一个观察表明，如果企业家选择在 t 期使用技术 a 进行生产，那么对于所有 s ≥ t ，它的消费为 c ( s )= a 。最终我们将获得，接受技术α的企业家的价值为
所以，我们得到
其中
是不使用现有技术生产的延拓值的期望值。(16.28)式的含义是，无论企业家选择生产还是继续搜寻新技术，目的都是增进自身的效用。继续搜寻新技术的企业家的价值由(12.29)式给出，这可根据定义推导出来。在下一期，该企业家从分布 H ( a )中选取 a 以获得价值 V ( a )，正如(12.28)式所示，然后对其积分得到 V 。由于 H ( a )的密度函数可能是非连续的，所以该积分被写成勒贝格形式。
题外浅议 ∗ 尽管搜寻问题的特殊结构使应用动态规划能够直接得到答案，但通过第6章第6.4节中介绍的方法解得最优策略还是有一定意义的。对此，我们可以结合之前的两个方程，得到
其中第二行定义了映射 T 。布莱克威尔的充分性定理（定理6.9)直接适用于(16.30)式，并表明 T 是收缩的，因为它单调并且满足贴现。
下面令
，这是一个定义在区间
上的实值连续（而有界的）函数集，并且
是具有上确界的完备度量空间。于是，收敛映射定理（定理6.7)表明存在一个唯一的价值函数
V
(
a
)。因此，动态规划方法能够立刻证明序列化的搜寻问题有解（并且是最优策略，下面将说明）。
此外，如果令
S′
为定义在
上的非减连续函数的值域，定理6.8同样适用，其中
S′
是
的封闭子集。因此
V
(
a
)是非减函数。事实上，我们同样可以使用定理6.8证明
V
(
a
)是分段线性函数，并且在第一段呈水平之后上升。令这些函数的值域为
S″
，它也是
的子空间（不一定是闭的）。在这种情况下，定理6.8的第二部分是适用的，因为对于任何一个非减函数
V
(
a
)，
TV
(
a
)都是分段线性函数。所以该定理表明唯一且固定的函数
V
(
a
)，也必然具有该属性。
以上“题外浅议”使用定理6.8证明了 V ( a )是分段线性函数。事实上，由于 V ( a )是一个常函数和一个线性函数的最大值，所以这一属性也可从(16.30)式直接导出。因此， V ( a )必定是个分段线性函数，并且其第一段是水平的。
下一步我们要做的是，使用问题16.2中的递归公式确定最优策略。函数 V ( a )的水平部分后面是线性的（且严格递增），这表明最优策略遵循截断法则(cutoff rule)，也就是说，存在一个技术水平分水岭 R ，企业家接受高于 R 的所有技术，而一旦 a < R ，企业家将选择弃用并继续搜寻新技术。 V ( a )之所以具有截断法则的属性，是因为它在某一水平之上严格递增。在这种情况下，一旦某一技术 a′ 被企业家接受，所有满足 a > a′ 的技术也将被接受。
另外，截断法则必须满足如下等式：
这意味着企业家在接受技术 a = R 与再等一期之间没有区别。然后，因为符合 a < R 的技术被否决，那么对于所有 a < R ，我们可以得到
并且对所有 a ≥ R ，有
用这些观察结果可以推导出
将这个等式与(16.31)式联立，我们得到
经过整理，这个等式变为
这种形式便于体现截断法则 R 。(16.32)式可以变换成另外一种形式，并且更加直观。稍加整理，可以得到如下形式
等号两边各减去
我们得到
等号左边最好被看作前期使用技术 R 进行生产的成本，而右边是新一轮搜寻的期望收益。在截断阈值(cutoff threshold)处，这两项必然相等，因为企业家在开始生产和继续搜寻之间一定是无差异的。
我们现在把(16.33)式的右边，即新一轮搜寻的期望收益，定义成
同时假定 H 的密度函数是连续的，用 h 表示。那么 γ 是可微的，且其微分为
这样(16.33)式就具有唯一解。容易验证，通过使企业家更有耐心，我们可以增大 β ，进而提高截断阈值 R 。
随机动态规划还有许多其他应用。除了在第17章将要研究的四个增长模型外，以下问题也是值得注意的。
1.资产定价：根据卢卡斯(1978)的观点，我们可以考虑在一个经济体中，一组相同的行为人对一组给定资产(“树木”)的随机收益索取权进行交易。每个行为人都需要解决一个类似第16.5.1节中的消费平滑问题，最大的不同是他（她）的储蓄收益是随机的，而不是（或除了）固定利率。当资产的总供给等于总需求时，市场将会出清。于是，均衡价格必定使每个行为人都愿意根据这些资产的回报保持适当数量的索取权。考虑到得自递归公式的消费边际效用，这些资产是可以定价的。习题16.14将会考虑这种情况。
2.不确定性下的投资：第7章的第7.8节探讨了成本调整投资模型，我们通过引入企业未来需求或生产能力的不确定性，可以使这一模型得到扩展，并拓宽它在宏观经济学和产业组织理论上的应用。习题16.15将会考虑这种情况。
3.最优停止问题：第16.5.2节中讨论的搜寻模型是最优停止问题的一个例子。还有更多的最优停止问题可以被设置成为随机动态规划问题，并得到分析。习题16.16将会考虑一个最优停止问题的例子。
本章的内容就其性质而言是技术性的，而且，它的应用价值要大于它本身的价值。本章的内容可以广泛应用于宏观经济学和经济增长，第17章介绍随机新古典增长模型时，将会运用本章阐述的各种方法。
除了介绍随机动态规划的基本方法外，本章还引用了两个重要的经济模型。第一个是随机持久收入假说模型，作为最著名的宏观经济模型之一，它在理论和经验上都得到了大量研究。早期的经验研究文献着重检验过度敏感性，第16.5.1节也使用加总数据对此进行了探讨。稍后的文献关注微观和面板数据，目的是得到关于个人消费行为的更清晰的结果。
本章介绍的另一个重要模型，是第16.5.2节中的搜寻创意模型，这一模型变换自麦考尔(1970)的劳动力市场搜寻模型。麦考尔的模型是大部分现代失业均衡理论的基础。尽管这一模型在本章以搜寻创意的形式存在，但是读者可以毫不费力将它应用于失业，并把它作为均衡失业理论的入门模型（见习题16.13)。此外，上文提到过的一些其他应用[包括以卢卡斯(1978)的理论为基础的资产定价模型和不确定性下的投资模型]，将会在习题中出现。在宏观经济学的其他领域，这些模型也得到了广泛应用。
第6章中的大部分参考文献也和随机动态规划相关。读者可能想了解霍华德(1960)、布莱克威尔(1965)和普尔曼(1994)的高级应用。斯托基、卢卡斯和普雷斯科特(1989)的研究最完整地讨论了贴现的随机动态规划问题。本章的内容与斯托基、卢卡斯和普雷斯科特的研究也有相同之处，不同之处是技术水平略低。特别地，笔者在不引入度量理论的情况下，介绍了随机动态规划的所有主要结果。透彻研究随机动态规划需要深入钻研这些处理方法。读者应该参考斯托基、卢卡斯和普雷斯科特(1989，第8—13章）的研究，其中介绍了更侧重于度量理论的研究方法，并阐述了有关马尔科夫过程的必备内容。
至于讨论马尔科夫过程使用的度量理论的基本定义和结果，读者也可以参考鲁丁(Rudin，1976)的研究，或者威廉姆斯(Williams，1991)的处理方法，后者非常生动且可读性强。对于笔者在本章中多次非正式引用的勒贝格积分，上述两份文献也有标准定义。罗伊登(Royden，1994)的研究包含了一个关于测度理论的更高级且更出色的处理方法。关于第16.5节中提到的鞅，威廉姆斯(1991)也介绍了一个很好的入门级处理方法。
富蒂亚(Futia，1982)为处理马尔科夫过程提供了一种非常好的简单方法，并把马尔科夫过程应用到动态随机模型中。季克曼和斯科罗霍德(Gikhman and Skorohod，1974)的研究或者艾西尔和库尔茨(Ethier and Kurtz，1986)的研究，对马尔科夫过程进行了更高级、更全面的处理。
基尔查(Zilcha，1978)和上东贵志(Takashi Kamihigashi，2003)更加翔实地介绍了随机横截性条件（定理16.8)的必要性和充分性。
对消费问题的最好研究来自迪顿(Deaton，1992)。布朗宁和克罗斯利(Browning and Crossley，2011)回顾了最近的研究。习题16.11建立在张伯伦和威尔逊(Chamberlian and Wilson，2000)的研究之上，读者可以根据这篇论文解决一些微妙的数学问题：当贴现因子等于毛利率的倒数时，确定随机消费分布的限制性行为，将引发这些问题。第16.5.2节中关于搜寻创意的例子，变换自麦考尔(1970)的劳动力市场搜寻模型。据我所知，科图姆(Kortum，1997)提出了关于技术选择的第一个搜寻理论模型，他的模型比第16.5.2节中介绍的模型更加丰富且深刻。林奎斯特和萨金特(Ljungqvist and Sargent，2005)出色地引入了一个基本的麦考尔模型。皮萨利德斯(2000)的研究以及罗杰森、夏默与赖特(Rogerson、Shimer and Wright，2004)非常好地综述了应用于劳动力市场问题的搜寻理论方面的研究。
∗ 16.2 证明引理16.1。
∗ 16.3 本题为定理16.3提供了一种新的证明方法。
(a) 选择一个关于
的合适的拓扑结构，使
U
在
X
×
X
×
上连续。
(b) 使用附录A中的定理A.12，证明问题16.1中的目标函数的积拓扑是连续的；使用定理A.13和引理A.2证明约束空间是紧的；使用定理A.9和定理A.16证明函数
V
∗
(
x
(0)，
z
(0))在
X
×
上定义良好、连续并且有界。
(c) 使用定理16.1推导出函数 V ( x (0)， z (0))的相同结果。
∗ 16.4 证明定理16.4。
∗ 16.5 证明定理16.5。
∗ 16.6 证明定理16.6。
∗ 16.7 证明定理16.7。
16.8 考虑第16.5节中的随机永久收入假说模型，其中 u ( c )表示一般性的瞬时效用函数。请指出在什么条件下，即便满足随机欧拉方程(16.26)式，过度敏感性检验依然不成立？[提示：可能需要考虑具体的CRRA。]
16.9 (a) 考虑第16.5节中的一个随机持久收入假说模型，并假设利率r不再是常数，而是 t 的函数 r ( t )>0。求解这种情况下对应于(16.26)式的结果。证明在这种情况下过度敏感性检验同样适用。
(b) 现在假设 r ( t )是一个随机变量，在一个充分大且数量有限的集合 r 1 ，…， r N 中取值，并且为了简化分析，假设利率的取值跨期独立。求解这种情况下对应于(16.26)式的结果。证明这种情况下过度敏感性检验同样适用。
16.10 考虑第16.5节中介绍的随机性永久收入假说模型。假设
w
(
t
)不再是独立分布，而是遵循一个马尔科夫链。证明(16.26)式依然成立。现在假设
u
(
c
)取二次型，并假设计量经济学家误认为
w
(
t
)独立分布，这样家庭相对于计量经济学家具有信息优势。证明消费增长基于过去收入实现的回归系数仍然是0（这样过度敏感性检验才成立）。[提示：利用期望的迭代法则，即如果Ω是一个比Ω′更好的信息集合，并且
z
是一个随机变量，那么有
∗
16.11 在第16.5节的随机性永久收入假说模型中，假设：
二阶可微，处处严格凹，并且严格递增；
u″
(·)单调递增。此外，假设
w
(
t
)具有非退化的概率分布，且该分布的左边界为0。
(a) 证明消费永远不可能收敛到一个常数。
(b) 证明：如果
u
(·)取CRRA的形式，并且
，那么存在
<∞，使得对所有
t
满足
。
(c) 证明：如果
，那么不存在一个
，使得对所有
t
满足
。[提示：首先假设
u
(·)取CRRA形式，考虑
β
=(1+
r
)
-1
的情形；然后对一个任意大的时期数量，选取一个满足
w
(
t
)=
w
N
的随机序列，且该序列概率为正。然后把这一结果扩展到
β
≤(1+
r
)
-1
的情形。]
(d) 假设
u″
(·)是非减的。证明：如果
，消费的边际效用服从一个（非退化的）上鞅，所以消费一定收敛到无穷。[提示：注意(16.26)式说明了
，并且我们可以用这个等式证明消费“平均来看”是递增的。]
(e) 如果 u″ (·)是递减的，(d)中的分析将有何变化？
16.12 考虑第16.5.2节中的搜寻创意模型。假设企业家可以使用他在过去发掘的所有技术，并在任何时间点进行生产，同样地，他也可以在任何时间停止生产并从事搜寻工作。
(a) 将企业家面临的最大化问题表示成递归公式。
(b) 证明：如果企业家在时期 t 拒绝用某项技术 a′ 生产，那么他在 t + s 期同样不会接受这一技术，其中 s >0（即他在 t 到 t + s 之间的任何生产活动中，都不会使用这一技术）。
(c) 证明：如果该企业家在 t 期接受技术 a′ ，他将在所有满足 s ≥ t 的时期继续使用这一技术，而不是停止生产并重新搜寻新技术。
(d) 使用本题的(a)和(b)，证明企业家面临的最大化问题可以改写成没有任何一般性损失的形式。
(e) 现在假设如果企业家不生产，他将接受收入 b 。写出这种情形的递归方程，并证明随着 b 增加，截断阈值 R 也会增加。
16.13 把第16.5.2节中的问题表示成一个失业工人的抽样工资之一，且其抽样工资由一个静态的工资分布函数 H ( w )外生给定。工人的目标是最大化其工资净现值。假设一旦该工人接受了一份工作，他的工资将保持恒定。
(a) 假设该工人找到了一份永不放弃的工作，将他面临的动态最大化问题表示成递归形式。
(b) 证明工人永远不会放弃他曾经接受的工作。
(c) 证明工人使用一份保留工资 R 。
(d) 计算工人失业的期望持续时间。
(e) 假设分布 H ( w )的所有工资由企业提供，并且所有工人完全相同，证明除提供工资 w = R 的企业外，其他所有企业都实现了利润最大化。
16.14 考虑一个由相同家庭组成的经济体：每个家庭的偏好用
表示，其中
u
(·)符合严格递增、严格凹和二阶可微的条件。将经济中的行为人指标(measure of agent)标准化为1。每个家庭各自拥有唯一的树，且它在
t
期提供
z
(
t
)单位的消费物品。假设
z
(
t
)是从集合
取值的随机变量，并服从马尔科夫链（所有的树产出相同，因此不存在多样化）。每个家庭都可以卖掉自己的树的任意部分，也可以购买新树的任意部分，但是不能卖光（即不允许持有负的资产）。如果当期的
z
(
t
)为
z
，那么假设一棵树的价格由函数
确定。没有其他资产可以用来跨期转移资源。
(a) 证明：给定一个价格函数 p ( z )，一个代表性家庭的流量预算约束可以表示为
其中 x ( t )表示该家庭在 t 时期持有的树的数量。并解释这一约束。
(b) 证明：给定一个价格函数 p ( z )，且代表性家庭的最大化问题受约束于流量预算约束和 c ( t )≥0与 x ( t )≥0，那么这个问题可以表示成如下递归形式：
(c) 应用第16.1节的结果，证明 V ( x ， z )对 x 满足递增、严格凹和可微的性质（在其定义域内部）。
(d) 求解这个最大化问题对应的随机欧拉方程。
(e) 现在假定市场出清，这意味着对于所有 t ，有 x ( t )=1。解释为什么这是市场出清的充分且必要条件。
(f) 在市场出清的情况下，推导出均衡市场价格关于当期 z 的函数 p ( z )。
(g) 现在假设家庭也可以交易无风险债券（均衡条件下，债券的净供给为0)。求解无风险债券的价格。
16.15 考虑第7.8节中投资模型的离散随机形式：一个企业最大化其利润的净现值，其中贴现因子为(1+ r ) -1 ，即期回报为
f ( K ( t )， z ( t ))作为企业的收益或利润函数，其自变量为资本存量 K ( t )和随机变量 z ( t )，后者表示生产能力或需求。与第7.8节相同的是， I ( t )是投资， Φ ( I ( t ))代表调整成本。
(a) 假设 z ( t )的分布遵循马尔科夫链。列出企业最大化问题的序列形式。
(b) 列出企业最大化问题的递归形式。
(c) 列出使上述两个问题结果相同的条件。
(d) 解出企业投资决策的随机欧拉方程，并与第7.8节中的结果进行比较。
∗
16.16 考虑一个一般性的停止问题，其中个人的目标是最大化
。随机变量
z
(
t
)服从马尔科夫链，且在任意时间
t
，个人都可以“停止”这一过程。如果个人未曾停止，令
y
(
t
)=0；如果对于某个
s
≤
t
，个人停止了这一过程，则令
y
(
t
)=
z
(
s
)。
(a) 将个人的这一问题表示成随机动态规划形式。对于某个 R ∗ ，如果在时间 t 满足 z ( t )≥ R ∗ ，那么个人将停止马尔科夫过程，列出 R ∗ 存在的充分性条件。
(b) 假设：
z
(
t
)在
t
期服从一个取自
H
(
z
|
ζ
(
t
))的分布，
ζ
(
t
)服从一个马尔科夫链，且该过程从一个有限集合
中取值。将这个问题改写成随机动态规划形式。证明：存在一个函数
，使个人在
时停止该过程，其中
ζ
(
t
)表示当期状态。解释为何停止规则从来不是恒定的。关于习题16.13中讨论的失业工人接受工作的决策问题，当工资分布因市场萧条与繁荣而变动时，上述结果对工人的决策有何意义？
[1] 我采用标准的术语，当 z ( t )取有限（可数）值时，服从马尔科夫链；当分布函数为连续或者混合连续函数和离散函数时，服从一般的马尔科夫过程。
[2] 这里用 a 表示创意的质量，而不是之前作为个人的资产持有，应该不会造成混淆。