为什么异或问题是线性不可分割的?

看教材的时候多说,感知机(单层神经网络)不能解决异或问题,那为什么呢???

因为

感知机是处理线性问题的

异或问题是非线性问题

什么是线性可分?

N维的 binary dataset是否线性可分取决于是否存在 N-1维的线性空间分割这个 dataset成两部分.

按照直觉来说

  • 对于一个一维直线(或曲线),“线性可分”就是能有一个点按照某个规则将直线(或曲线)一分为二。
  • 对于一个二维平面,“线性可分”就是能有一条直线按照某个规则将平面一分为二。
  • 对于一个三维空间,“线性可分”就是能有一个平面按照某个规则将空间一分为二。

上诉的都是可以通过画图直观的看出来,推广至更高维度空间

  • 对于一个n维空间,“线性可分”就是能有一个n-1维空间按照某个规则将n维空间一分为二。

线性分割示意图

为什么感知机是处理线性问题的?

未完待续(下次补充)

为什么异或问题是非线性问题?

给出一个知乎上的解释,我觉得可以
跳转链接——go知乎

平面上4个点, (0,0)(1,1)为一类, (0,1)(1,0)为另一类。线性可分就是指通过平面上一条直线 ax+by+c=0 可以将两类分开到直线的两侧。 假设存在这样的直线,则

(0,0)(1,1)代入直线方程(不妨假设该类在直线的正侧,则另一类在直线的负侧):

c>0 (1)

a+b+c>0 (2)

把(0,1)(1,0)代入直线方程

b+c<0 (3)

a+c<0 (4)

而(3)+(4)-(1) 与 (2)矛盾,所以不存在这样的直线

也就是说,我们做不到切一刀就把一个平面切成四份

想要分割这个异或平面需要两条直线,但是线性分割的内涵就是一刀切

补充阅读

为什么逻辑异或是线性不可分的?

我们说的“异或问题是线性不可分割的”,默认前提是二维平面的异或问题是线性不可分割的

如果投射到三位平面就是线性可分割的

图片描述


universe_king
3.4k 声望680 粉丝