主要观点：

• 对机器学习基础知之甚少，传统神经网络虽在工程上成果显著，但基本原理仍不明。
• 尝试构建极简模型来理解机器学习，这些模型更易可视化，能揭示机器学习背后的本质现象。
• 机器学习看似在构建结构化机制，实则是从计算宇宙的典型复杂性中采样，找到行为与需求重叠的部分，其可能性是计算不可约性的结果。
• 机器学习问题是自适应进化的一个版本，与生物学进化有相似之处，都与计算不可约性有关。
• 传统神经网络结构可简化，如全连接神经网络可简化为网格神经网络，甚至可进一步简化为完全离散的系统，如基于细胞自动机的规则数组，且离散系统也能成功进行机器学习。
• 实际机器学习中，应思考如何不同地进行，以提高效率和通用性。
• 传统神经网络学习通常用反向传播等算法，而离散系统有更高效的学习方法，如通过逐步突变和构建变化图。
• 探讨了不同模型和设置下的机器学习，如规则数组、分层规则数组等，且这些模型能捕获神经网络的本质特征。
• 机器学习能学习多种函数，但实际的规则数组配置往往较混乱，最小解或自适应进化得到的解通常更随机且不易理解。
• 从科学角度看，机器学习模型结构简单，可可视化，其运作依赖计算不可约性，难以给出详细的机制解释，只有在计算可约性的小区域内才可能有人类可理解的解释。

关键信息：

• 介绍了传统神经网络的结构、训练过程及不同参数和激活函数的影响。
• 阐述了网格神经网络的简化拓扑结构及训练方法。
• 提出完全离散的系统，如基于细胞自动机的规则数组，可进行机器学习，并通过实例展示。
• 讨论了多向突变图在离散系统中的应用及优化学习过程的方法。
• 研究了不同模型和设置下能学习的函数类型及表示方法。

重要细节：

• 传统神经网络通过调整权重和偏差，根据损失函数进行训练，以逼近目标函数，训练过程中存在随机性，不同的随机种子会得到不同的网络和学习曲线。
• 网格神经网络每个神经元最多从两个其他神经元获取输入，其内部行为可直接可视化，训练方法与全连接网络类似。
• 基于细胞自动机的规则数组，每个细胞可选择不同的规则，通过逐步随机突变可找到满足特定目标的规则数组，不同的随机突变序列会导致不同的解。
• 优化学习过程可通过构建变化图，考虑多个突变的影响，避免陷入局部最小，传统神经网络利用连续权重的性质通过反向传播高效计算导数，离散系统也有类似的方法但更复杂。
• 不同模型和设置下，如分层规则数组、完全连接网络的离散类比等，都能展示机器学习风格的现象，且能学习各种函数，但实际的规则数组配置往往较复杂。
• 机器学习依赖计算不可约性，能找到“碰巧有效”的解，而不是结构化的解，在计算可约性的小区域内可能有人类可理解的解释。