CPU缓存是CPU和内存之间的临时存储器，虽然缓存的容量不能与内存和硬盘相比，但是交换速度却比它们快得多了，CPU缓存就是为了更快的连接CPU与内存而存储在中间媒介。简单来说，因为CPU的速度快，而内存的速度较慢，这时CPU缓存来解决这个问题，减少了CPU的等待时间，变相的提高了CPU的性能。

1、缩短延迟
访问缓存的时间应该尽可能缩短，可以通过多种的方式缩短这个时间，比如能够通过减小缓存的大小或关联性来降低缓存的延迟，还有方式预测、增加带宽等方法。

2、提升命中率
所谓的命中率是在高速缓存中找到内存引用的速率，我们希望能够首先通过缓存中获得信息，以得到速度优势，所以缓存需要最大限度地实现这一目标。对于单个高速缓存，大小、关联性和块大小决定命中率。

3、降低更低级别内存下的开销
高速缓存是内存层次结构的一部分，其性能会影响其它性能，处理其它内存花费的时间越长，意味着系统性能越低，也就是说尽可能让处理在缓存中完成。

4、减少错失惩罚
缓存中不能命中是无法避免的事情，但是我们可以减少处理未命中所需的时间以获得更好的处理器性能，通过提升命中率并通过应用不同的优化，能够降低错失惩罚。
高速缓存是CPU中十分重要的部分，占据了大量的资源开销和成本，如果您看过CPU架构图的话，您就会发现缓存占据了至少50%的面积，绝对至关重要。