已知m个样本 $(x^1,y^1), ...... (x^m,y^m)$，x是特征变量，y是对应的类别。要求一个模型函数h，对于新的样本 $x^t$，能够尽量准确的预测出 $y^t = h(x^t)$。

其中 $P(A \cap B)$ 意思是A和B共同发生的概率，称为联合概率。也可以写作 P(A,B) 或 P(AB)。注意，定义中A与B之间不一定有因果或者时间序列关系。