张含望：大模型的学术研究离不开因果关系（Causality）丨GAIR 2023

共五生关联不时是数一般来问道，偶尔发生的好事都是是一般来问道关联。

十年在此此前，在NLP教学领域拿下的一个极为大的进步就是辞汇嵌入（word embedding），它的军事训练的方式也与从在此此前的填充式方式也是一样的，就是一些重构的实期。

为什么在NLP教学领域用这种关连就可以进修到极为好的语义，也就是一般来问道关联？

比如在一个大这幅所示中都，用king减去man可以给与一种原先稳定状态，将其加到一个性倾向背上，就大转回变转成了queen，这就是通识、相当有道理的一般来问道关联，为什么才会这样？

我才会在上去陈述越发中上层的或许，这里先问道一个有趣疑虑，从在此此前NLP整个教学领域步向“灭门”稳定状态就是因为之外所有在在的symbol早就经过人类同步进行磨碎，形转成一般来问道关联了，而并非两个进去显然关连在独自。

那么在计算机技术动态教学领域，比如在一个大这张幻灯片中都，为什么鼻子才任会长在兔的眼球右边，虽然可以观测者到这样一种关连，但是为什么才会产生这样的关连是不能在在的。

日后比如，人用双脚赛跑、用双脚冰上，可以观测者到人的双脚与冰上板的稳定状态，但是人为什么用双脚冰上？便是的道理也是不必记录在幻灯片中都的。

所以问道，如果只是通过幻灯片去进修动态特性（visual feature）的话，那么动态的embedding与NLP的embedding相相当而言劣得太多了，就显然去进修一些极为坚硬的关连。

02共五因（confounder）与一般来问道施压

科学研究计算机技术动态的人一定才会都听问道过MAE，即根据mask modeling这种方式也来进修的动态特性，只不过上是一个极为中上层的关连特性。

至于或许，这就要和安到一个有趣但有力的一般来问道关联来进行论——混杂，也是一般来问道施压。

混杂的一般来问道来进行论是这样的：如果就让通过重力场a去推断重力场b，就是将重力场a摆放在这里才会缩减重力场b日后次出现几率的多少，就让要寻觅这样一个确认的促进关联即一般来问道关联，往往才会被confounder依赖性到，而这个confounder就是重力场a与b彼此之间的共五因。

由于这个共五因的假定，才会造成了就算a跟b不能并不需要的关联，也才会被这个混杂的共五因连接上来。

并举一个极为有名的案例，如果要同步进行有效性统计分析——面包的销售量与诺贝尔入围伤亡人数是强烈的时是相关，但某种程度不是这样，它们便是有一个共五因，即国家的GDP。

所以，如果就让他用面包的销售量去实期得诺贝尔的几率，这个是不能疑虑的。但是如果用它当转成一种税制，让政府所的学时龄在此此前每天肉一斤面包，那就不十分困难了。

一般来问道，用它来就让到实期是可以的，但是他用它监督关系到国计民生税制上的疑虑，显然用一个实期一般来问道来进行论是远远不够的，而且也极为危险。

日后比如，就让他用琴弦去实期屏幕的假定，这也不十分困难，因为琴弦与屏幕便是的一些故事情节共五同不得不了它们回事偶尔在独自。所以，当你见到琴弦的时候去实期屏幕的假定，似乎就才会推断出屏幕的假定几率并不显然由琴弦不得不。

我们来看一些陈述的举例。

一个大这个所示便是一个计算机技术动态信息集里统计分析出来的，不须要就让到任何一般来问道来进行论，只须要把它的标注字句拿出来统计分析一下，就才会推断出几个相当有意思的好事。

首先是水盆与吹风机的关联——见到吹风机去亮出旁边有不能水盆。如果用有趣的关连去亮出测，这个几率是极低的，约为0. 56。但是经过一般来问道施压日后，推断出它的几率某种程度是降低了。

为什么？便是的或许就在于这个信息密集都，仅仅所有的幻灯片都是网络上发布新闻的酒吧公共厕所幻灯片，似乎是为了耗用三维空间，酒吧公共厕所中都吹风机与洗脸盆的摆放在方位一般是吹风机挂在房顶，洗脸盆在其一个大。

但是显然因为吹风机就才会造成了洗手盆的日后次出现吗？如果只根据该信息集分析，这是一件极高几率流血事件，但是用我们的通识就让一下，就才会推断出这不太靠谱。

第二个举例是在楼内中都，抽水浴室与人共五同日后次出现的几率经过一般来问道施压日后反而升极高了，这又是为什么？

某种程度还是我所特别强调的那个或许，在这个信息集之外都，之外浴室与人在独自共五生关联的数目极为少，某种程度是出于隐私，不似乎偶尔拍到一个人在上如厕，所以幻灯片中都在浴室周边一般来问道不能人假定，就算有人，也不是时是在用于浴室的布景。

但是通识问道道我们，浴室是给人用的，浴室右边坐着一个人是件必要的好事，这个才是真时是“听见浴室去亮出人”的一般来问道关联，而不是单单从几率右边去正确。

所以在就让到了一些一般来问道关联的调整后，某种程度是在几率上同步进行除此以外，也就是把一些周边的重力场借过来，然后看如果周边多放一个水盆、一个杯子、一个包，把所有这些似乎的进去就让到一个均值，再加来日后，才会推断出“听见浴室去亮出人”的几率才会和安升两倍，是原来的三倍，这才是越发必要的好事。

一般来问道，我们在这个信息集上可以就让到到一个无浅蓝的估计值去退却真时是的自然辞汇汇，就是在大量、非常丰富语料库的辞汇与辞汇彼此之间同步进行word embedding这样一个更好的实期。

就是这么一个有趣的一般来问道施压，我们在以在此此前的两到三年时间里，在这个教学领域同步进行了不间断的科学研究，也就让到出了一些科研转成果。

03一般来问道关联在大一般来问道来进行论中都的重要性

当大一般来问道来进行论出来日后，我们首要面临的一个疑虑是，原来一般来问道关联之外是用来就让到实期护航中都的“去浅蓝见”，就让到一些军事训练产于之外的指导，因为检测集与军事训练集的产于不一样。

但是，由于从在此此前的一般来问道来进行论不小了，之外所有的检测集都是军事训练集的排列组合，检测的Benchmark早就不假定了，还怎么用于一般来问道关联？因此，我们就须要同步进行更多局外人的思维，这也是我最近一两年在就让到的一些好事。这个局外人的思维可以一个大这张所示来陈述，某种程度就两点：

第一，为什么这张所示是一个正方形的看上去？以往如果要就让到一般来问道关联，大家负责任才会肖像画出来这样一个正方形的举例，为什么这个举例是一定才会的？从在此此前的这种举例一般来问道都是一些物理科学时自己肖像画的，那有不能似乎从数论上验证它？

第二，这个正方形的顶点，即confounder到底是什么？以往是给一个陈述的护航去下定义一个confounder，但某种程度不能共五同点的进去。

如果要回答这个最坚实的疑虑，就要再考虑来进行，但月份同年内，我们推断日后次出从在此此前的线性代数早就不够用了，数论来进行日后次出现了疑虑。

十分相似在微积分发明之在此此前，之外难以寻觅各大天体的运作规律，显然通过几何方式也去统计分析它的近地点。虽然这也能就让到出相当好的实期结果，但是便是的定律不能知晓。

一般来问道，就让要推断出真时是的牛顿动力学时须他用到一些原先数论来进行。我们尝试着用抽象代数中都的线性代数来进行论来下定义广度进修中都相当局外人的进去，就是我们首先要下定义广度进修在学时什么。题目是广度进修某种程度是要去解法耦它所观察到的在世界上。

解法耦有两个数论来进行论可以去刻肖像画，第一个是可报废法，或者是模块化，即一个特性中都不同的方位一定才会负责不同的机能。

第二个是等大其才会，我们可以并举一个相当有意思的举例来陈述这一点。

十几年在此此前，女生如果要就让拍一张漂亮的幻灯片，她一定才会是先化妆日后去合照，但到了从在此此前，计算机技术动态技术的特性等大其才会早就极为极高，女生显然可以先拍一张幻灯片，然后用Photoshop上妆。

一般来问道，物理在世界上的化妆大巨大变化某种程度在虚拟在世界上中都是可以就让到到等大其才会的。

这两个就是广度进修就让要生活态度的一些进去，我们用线性代数去下定义在观测者里大巨大变化的来进行论。

比如，在表中都，我肖像画了一个天体近地点所示来演示最只不过的广度进修动动力学时，某种程度就是用线性代数来进行论重新下定义什么是界定。每个近地点每一张所示的转回大变是大家共五享的一个力，也就是说的是大家共五享一些retribute；而串连近地点的大巨大变化，就是串连一般来问道的大巨大变化。

基于这样的重新下定义，我们用这套数论辞汇汇就可以把正方形验证出来了。它的用途主要体从在此此前两点：第一，它陈述了confunder是什么，就是大家共五享了一些故事情节；第二，我们可以用它来实实在在就让到一些最坚实的好事。

第一个就是“去浅蓝”，我们推断日后次出从在此此前最广为流传的“去浅蓝”来进行假定bug，用基于这个所示中都的来进行才能真时是把confounder寻觅。一般来问道，从在此此前的一些“去浅蓝”来进行所寻觅的浅蓝见也有似乎是一般来问道来进行论的不足之处，但不足之处不亦然是浅蓝见，而浅蓝见是不足之处的一部分。我们要告诉他的是那种很纯的浅蓝见。

第二个是可以就让到一些有意思的填充，比如就让让这个人去弹吉他，弹吉他的姿势就是class，而她的身体等都是故事情节，当把故事情节和浅蓝见等进去寻觅，就可以组转成你就让要的填充真实感。

几周是相当广为流传的Prompt tuning，该如何用一般来问道关联的所示去认知呢？一个大是现在多并举例来问道prompt tuning一个最主要的程序中，我们可以举例这个动态特性经过像CLIP这么大的一般来问道来进行论比如问道的合并。

基于这种举例，那么Prompt tuning就是在告诉他经过tune的prompt 一定才会怎样大巨大变化。其中都，dog这个class是等价的，所以要去就让到界定的话就是在告诉他一个合适的故事情节，现在广为流传来进行假定的一个疑虑是军事训练越好多真实感越好劣。

学时过机器进修的人都知道这个是over fitting，不足为奇。但是有一些case是你给的信息越好多反而真实感越好劣，这个就相当奇怪了，如果要陈述的话，显然可以用class与context不停地对抗，此消彼长的来进行论来陈述。

几周懂之在此此前一点，从在此此前大一般来问道来进行论的特性尤其是动态这旁边的特性，假定一个疑虑，就是它虽然就让到到了可报废法、模块化，但是没法就让到到等大其才会。

如表所示，当你用一个比CLIP还强而有力的大一般来问道来进行论去计算辞汇汇和幻灯片间半径的时候，就才会推断出某种程度这个住所每条便的渐大变每一次，在辞汇汇上难以直观地让相似之处大转回变转成等大其才会。

一般来问道，辞汇汇上的“右”改转成“左”，并不并不须要体现这个住所每条的大巨大变化，而不等大变就暗示有一些信息被盗了，所以问道我们还是用线性代数的信念去认知。

这就像我们右边问道到的，须要真时是物理上的化妆，只用用PS同步进行化妆就可以了。用这样一种有趣的来进行去就让到一些loss右边的所设计，我们就可以给与一个极为好的等大变的多并举例来问道相似之处。

一个大是我们和安的一个Benchmark，如果你在军事训练多并举例来问道一般来问道来进行论的话，那么就可以拿这个Benchmark去测验你的大一般来问道来进行论回事等大趋于好。

之在此此前，我就让给就让到大一般来问道来进行论尤其是多并举例来问道大一般来问道来进行论的科学深入研究一些学时术右边的劝告。

第一个，我们一定要多加注目等大其才会，因为可报废法性是可以通过信息量填充实现的，但是等大其才会不可以，所以在实军事训练的时候要警惕这一点。

第二，从在此此前所有多并举例来问道大一般来问道来进行论都才会有一个疑虑，多并举例来问道彼此之间相接的停滞在于非辞汇汇并举例来问道（例如所示象）的spatial tokens和辞汇汇产于劣的较远。

辞汇汇的只不过是可数组的字母控制系统，这也是大辞汇汇一般来问道来进行论可以悬疑的坚实。所以，如果但他却真时是的多并举例来问道大一般来问道来进行论，就必须寻觅一种“可数组，可报废法的”的tokenization的来进行，把非辞汇汇并举例来问道转回转成“可数组产于”的token。

以上就是我那时候个人的素材，忘了大家！