新小说

手机浏览器扫描二维码访问

34（第3页）

陶予之从包里掏出平板，翻出一篇论文递给薛意：MIT那组的新预印本你看了吗？把self-attention写成球面上的interacting particle system，证了一个token clustering的收敛定理。证明本身挺漂亮的，Wasserstein梯度流那段构造得很干净。

薛意接过来，眼睛扫了一眼公式。

证明是挺漂亮的，但不能用。她拿过一张餐巾纸，画了个球面示意图：他们的Lipschitz假设在实际的softmax下根本不成立，高维空间里梯度直接blow up。你拿这个收敛率去calibrate真实的attention map，差两个数量级。

陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美，薛意看一篇论文先看结论能不能拿来赚钱。

那你打算怎么修？

不修，换个框架。薛意在餐巾纸上飞快地画了起来：我在想Rii flow。Clustering本质上就是曲率集中，Perelman处理奇点的那套surgery改一改，应该能给一个更tight的bound。

两人聊得旁若无人…

曲悠悠懵懵地看着两个神仙似的人叽里咕噜说了一堆什么都听不懂的话，还有来有回的，有点幽怨地开始怀疑自己的智商。

肩膀被轻轻拍了两下。

“别管她们了，”徐医生浅笑着，勾了勾她的臂弯，“咱们去点些东西吃。

曲悠悠僵僵地回过神来，“哦…好叻。”

跟着徐医生来到点单柜台，曲悠悠看了眼菜单，又茫然地回头看着不远处窗边座位上两人之间的餐巾纸上越来越密的符号和箭头。

徐医生靠在柜台上，要了两份薯条汉堡经典套餐，又问曲悠悠她和薛意吃什么，表情很淡定。

习惯就好了，她说，她们俩一聊起来就是这样。

经常这样吗？

每一两周就会约一次，每次都去圣马里奥一家上海生煎铺子吃小笼包，边吃边聊。有时候是理论数学，有时候是金融科技方面的应用，一聊起来没完没了的。我偶尔会跟着去一下，坐旁边吃点东西。

“小笼包？“

“嗯，她俩的最爱。“徐医生扁了扁眼，浅叹一口气，好像有些无语，”机器人似的，每次就吃那几样，也不换换口味。“

“最爱…”曲悠悠看着不远处的两人，悄咪咪生出一点美滋滋的侥幸。

薛意在餐巾纸上写到一半停下来，蹙眉想了几秒，然后又飞快地动起笔来。陶予之的眉头也微微蹙着，但嘴角弯起一丁点弧度。不知道是不是快解出来了。