这篇博士论文研究了如何从时空数据中学习因果表示，提出了多种新方法，包括ENCO、CITRIS、iCITRIS和PDE-Refiner，以改进因果发现和表示学习。
原文标题：【博士论文】在时空系统中学习因果表示
原文作者：数据派THU
冷月清谈：
这篇博士论文探讨了如何利用机器学习从高维无结构数据，特别是视觉和时间序列数据中，学习因果结构、机制和表示。论文首先介绍了ENCO，一种新的神经因果发现算法，可以有效处理干预数据和大规模图。然后，提出了CITRIS和iCITRIS，这两种基于神经网络的方法可以从含干预的时间序列数据中识别因果因素，并学习瞬时因果图。论文还提出了BISCUIT，一个基于代理的变分自编码器，用于在复杂环境中无监督学习识别因果变量和代理交互。最后，论文研究了用偏微分方程描述的动态系统，并提出了PDE-Refiner来改进对所有频率分量的建模。
怜星夜思：
1、论文中提到的ENCO、CITRIS、iCITRIS和PDE-Refiner等方法，它们各自的优缺点是什么？在实际应用中应该如何选择？
2、论文强调了因果推理对于构建真正智能AI的重要性，你认为当前AI领域在因果推理方面还面临哪些挑战？
3、如何评价这篇博士论文的研究贡献？它对因果推理领域未来的发展有哪些启示？
2、论文强调了因果推理对于构建真正智能AI的重要性，你认为当前AI领域在因果推理方面还面临哪些挑战？
3、如何评价这篇博士论文的研究贡献？它对因果推理领域未来的发展有哪些启示？
原文内容
来源：专知本文约1000字，建议阅读5分钟本论文探讨了如何使用机器学习从高维无结构数据中学习因果结构、机制和表示，重点关注视觉和时间系统。
本论文探讨了如何使用机器学习从高维无结构数据中学习因果结构、机制和表示，重点关注视觉和时间系统。首先，论文介绍了ENCO，一种用于神经因果发现的新算法，能够处理干预数据。ENCO将图搜索重新定义为独立边缘似然的优化，保证了收敛性，并能够高效地扩展到大规模图，同时处理确定性变量和潜在混杂变量。接下来，论文着重于因果表示学习，提出了CITRIS，一种基于神经网络的方法，可以从带有干预的高维时间序列数据中识别标量和多维因果因素。这包括建立因果表示学习与干预设计之间的联系，确定识别所需的最小干预。该方法进一步扩展为处理瞬时效应，推出iCITRIS，能够同时识别因果变量并学习它们的瞬时因果图。随后，论文探讨了基于代理的框架，提出了BISCUIT，一种变分自编码器，通过无监督学习在复杂环境中识别因果变量和代理交互，展示了其在具身AI和机器人学中的应用。最后，论文研究了由偏微分方程（PDE）描述的动态系统。通过分析神经PDE求解器的时间展开策略，发现对非主导空间频率的不准确建模是一个关键问题，并且因果地影响长期动态。为了解决这个问题，提出了PDE-Refiner，一种受扩散启发的方法，用于细化所有频率分量的建模。
因果推理的能力在我们的日常生活中扮演着至关重要的角色。无论我们想知道今天早晨闹钟为什么没有响，为什么我们的自行车坏了，还是为什么天空是蓝色的，我们都在不断寻找因果解释。对“为什么”这一问题的追寻自古以来就被认为是人类知识的核心。早在亚里士多德时，这位希腊哲学家就曾断言：“我们对某事物的知识，只有在掌握了它的‘为什么’，即它的因果关系后，才算真正拥有”（Charlton，1983）。几个世纪后，哲学家约翰·斯图尔特·密尔（John Stuart Mill）指出，我们对世界的理解是建立在识别因果关系的基础上的（Mill，1843）。
因果推理的重要性不仅仅体现在理解方面，它还使我们能够预测并可能控制未来事件。在我们的日常生活中，这可能表现为防止事故发生和解决技术问题。在科学研究中，它使我们能够应对复杂的科学挑战，例如理解气候变化背后错综复杂的因果关系，从而减缓其影响。正如朱迪亚·皮尔（Judea Pearl）简洁地指出的：“因果关系是物理现实以及人类对现实理解的基本构建块”（Pearl，2009）。
尽管人类被认为能够对抽象概念（如物体及其相互作用）进行因果推理，但我们并非天生以这种结构化的因果形式感知环境。相反，我们通过感官器官——主要是我们的眼睛、耳朵和触觉——来体验世界，这些感官为我们提供复杂的高维输入数据。例如，我们的视觉皮层接收着持续不断的光子流，这些光子流必须经过处理和解释，才能形成连贯的知觉。从婴儿期开始，人类就学习如何解读和理解这种复杂的感官输入，逐步构建出对物理世界的因果描述。发展心理学家已证明，即使是非常年轻的儿童也能推断因果关系，并形成对物理学的朴素理解（Buchsbaum等，2012；Goddu和Gopnik，2024；Gopnik和Schulz，2007）。从原始感官数据构建因果模型的过程，不仅对我们日常的互动至关重要，而且为我们推理更复杂现象的能力奠定了基础。
尽管人类通过感官输入发展因果理解，现代人工智能系统则以不同的方式处理类似的挑战。这些AI模型处理图像、视频和语音等原始数据，在各种任务中取得了令人印象深刻的成果，往往达到了或超过了人类的表现。然而，它们也在面对看似简单的情境时表现出令人惊讶的失败，特别是在输入数据受到轻微扰动时。
这种差异源于方法的根本不同：大多数AI系统依赖于模式匹配和统计相关性，将输入映射到输出，而不是构建世界的因果模型。从观测数据集中唯一地识别因果关系是一个非常具有挑战性的任务，并且在没有额外假设的情况下，通常是不可能的（Spirtes等，2000）。这一局限性导致了AI中的一个关键问题：难以区分相关性与因果关系。这种混淆导致了许多数据的误解或荒谬的假设，例如吃巧克力导致诺贝尔奖或鹳鸟带来婴儿的说法（Aggarwal & Ranganathan，2016；Messerli，2012；Vigen，2024）。
随着有关人类水平AI表现的讨论日益增多，像朱迪亚·皮尔（Judea Pearl）和约书亚·本吉奥（Yoshua Bengio）这样的研究人员认为，实现真正的人类水平智能需要在AI系统中开发因果推理能力（Bengio，2019；Pearl，2018）。构建和推理因果模型的能力，而不仅仅是识别统计模式，被视为创建能够真正理解和与世界互动的类人AI的重要一步。
本论文旨在弥合这一差距，研究如何从高维无结构数据中学习因果结构、机制和表示，特别聚焦于视觉输入，如图像和视频序列。通过集中研究具有时间和空间特征的环境，我们反映了人类因果理解在物理世界中的复杂性。
为了为我们的工作提供全面的背景，本章其余部分结构如下：第1.1节介绍了基于相关性的学习在机器学习中的缺陷，强调了因果方法的必要性。第1.2节讨论了因果关系的基本概念，为我们的研究奠定理论框架。第1.3节详细探讨了因果表示学习的任务，探索了其挑战和潜力。然后，在第1.4节中，我们提出了具体的研究问题，概述了本论文旨在解决的关键问题。最后，在第1.5节中，我们列出了我们的出版物和各章节的个人贡献。
