在计算机系统中存储层次可分为高速缓冲存储器(Cache)、主存储器、辅助存储器三级。高速缓冲存储器用来改善主存储器与中央处理器的速度匹配问题。辅助存储器用于扩大存储空间。距离CPU越近,速度越快,所以从高速缓冲存储器(Cache)、主存储器,到辅助存储器速度越来越低。
高速缓冲存储器是介于中央处理器和主存储器之间的高速小容量存储器,容量一般只有主存储器的几百分之一,但它的存取速度能与中央处理器相匹配。CPU在Cache中找到有用的数据被称为命中,当Cache中没有CPU所需的数据时,这时称为未命中CPU才访问内存。为了保证CPU访问时有较高的命中率,Cache中的内容应该按一定的算法替换。一种较常用的算法是“最近最少使用算法”(LRU算法),它是将最近一段时间内最少被访问过的行淘汰出局。因此需要为每行设置一个计数器,LRU算法是把命中行的计数器清零,其他各行计数器加 1。当需要替换时淘汰行计数器计数值最大的数据行出局。这是一种高效、科学的算法,在其计数器清零过程中可以把一些频繁调用后再不需要的数据淘汰出Cache,提高Cache的利用率。