回归分析是一种研究变项与变项之间关系的统计方法。一般而言，分析对象为过去已经发生的经验资料，至少包括一个被解释变项和一个解释变项，以及两者之间的数学函数关系。在回归分析中，被解释变项称为依变项，解释变项称为自变项，连结自变项和依变项的数学函数关系则称为模型，其中包括了研究者所设定的回归系数，而推估回归系数的数值是否符合研究者的期待正是回归分析的主要旨趣所在。通常模型无法完美地连结自变项和依变项之间的关系，因此需要设定误差项，来填补经验资料和模型预测值之间的差距。