下载掌阅APP，畅读海量书库
立即打开
理论线性模型的重要建构基础是独立同分布（i.i.d）的。如果序列的所有各项都独立于其他项，而且各项具有相同分布，那么我们就定义序列ε t （t=1，…，T）是独立同分布序列（i.i.d）。因此，如果p t （x）是序列ε t 的概率密度函数，那么对于任何的t，都有p t （x）=p（x），而且任意n个ε t 的联合分布等于其边际分布的乘积。我们观察直到时间T的整个序列，序列在时间T+1的取值不会受到前期取值的任何影响，而且源于同一分布。
独立同分布要求很强的限制条件。有时出于许多目的，特别是对于线性模型，只需要考虑一个更为简单的称为“白噪声”（white noise）的过程。如果一个时间序列e t ，t=1，…，T，满足均值m=E［e t ］是常数，方差σ 2 =Var（e t ）都是常数，并且所有的协方差Cov［e t ，e s ］（t≠s）等于零的话，我们就称之为白噪声序列。因而，对于白噪声序列，我们只需要考虑一阶矩和二阶矩的性质。序列的上述性质称为“白噪声性质”，显然，具备白噪声性质的序列不一定是独立同分布序列。
鞅差分序列（martingale differences）与白噪声序列密切相关。如果E［x
t
|x
t-j
，j≥1］=x
t-1
，鞅差分表示为Δx
t
=x
t
-x
t-1
，并且E［Δx
t
|x
t-j
，j≥1］=0，那么序列x
t
称为鞅。鞅差分具有与白噪声相同的均值和协方差性质，但是方差无须为常数。白噪声序列和鞅差分序列都具有明确的线性性质，但是它们的非线性特征并不明显。例如，它们的定义中并不包括
（对于整数p），尽管研究非线性过程需要我们知道这些数量关系。
两个重要的线性模型是移动平均模型（the moving average process）和自回归模型（the autoregressive process）。如果ε t 是独立同分布的零均值序列，那么一个移动平均模型就是：
y t =ε t +c 1 ε t-1 +c 2 ε t-2
我们记作y t ～MA（2），存在两期滞后。自回归模型的例子为：
y t =a 1 y t-1 +a 2 y t-2 +ε t
其中，ε t 是独立同分布的零均值序列，我们记作AR（2），依然具有两期滞后。显然，很容易定义MA（q）和AR（p）过程（其中p和q为正整数）。更为广泛的过程是自回归移动平均模型，例如：
y t =a 1 y t-1 +a 2 y t-2 +ε t +c 1 ε t-1
我们记作y t ～ARMA（2，1），这一过程具有y t 的两期滞后和一个随机项ε t 。ARMA（p，q）模型更常见于线性模型理论，这样的线性模型的主要特征是其记忆长度（在模型中由p和q的值来概括）和特殊的解释变量假定，比如通常假定为独立同分布，或者至少是一个鞅差分过程。在实践中，我们只检验ε t 的白噪声性质。
一些线性模型具有“长记忆”（long-memory）性质，即当h变大时，E［y t+h |y t-j ，j≥0］并不必然趋向于零。如果这个值趋向于零，就称之为“短记忆”（short-memory）。“短记忆”的必要条件是当h变大时，协方差Cov［y t+h ，y t ］→0。如果当h很大，|ρ|<1时，y t 的均值、方差为常数，并且协方差|Cov（y t+h ，y t ）|<Aρ h ，那么我们就称y t 是“平稳”的（stationary）（更为精确的定义将在1.4节给出）。长记忆序列的一个例子是：差分是平稳的序列，记作ARIMA（p，1，q），或者简记为y t ～I（1）。如果d阶差分才是平稳的，那么我们就称为d阶单整序列，记作I（d）。
以上定义的ARIMA模型是单变量的。这一模型的一个自然扩展就是使用y t 自身的p期滞后、ε t 的q期滞后和其他解释向量 x t 的线性组合来解释y t 。得到，
我们称之为ARMAX模型的变形形式，其中X是“外生的”。
另一个扩展是向量y t 的联立模型的向量自回归模型（VAR），例如：
其中，y由n个变量组成，每一个 a j 都是一个n×n阶矩阵， ε t 是独立同分布向量。并且，
Cov（ε jt ，ε ks ）=0（t≠s）=σ jk （t=s）
即，解释变量可以出现同期影响。Granger和Newbold（1986），Harvey（1981），以及其他一些学者的文献讨论过这些模型。
显然，还存在其他的线性模型，而且其中一些模型还相当独特，不过我们在这里不展开讨论。