Sakana AI研究员推出PC-ALM：一种能训练1000层网络的层局部反向传播替代方案

📋总体概括

Sakana AI研究员Jeffrey Seely与Julian Gould提出PC-ALM（增广拉格朗日预测编码），一种层局部学习的反向传播替代方案。通过为每层约束附加拉格朗日乘子，它在保留预测编码层局部更新的同时，在线性网络中恢复精确的反向传播梯度；梯度余弦相似度从0.604提升至0.909，并在推理预算T=2L下于8到128宽度和深度上与反向传播持平，成功训练1000层残差MLP，MNIST精度距反向传播约2个点以内，并开源MIT许可的JAX代码。