淫民导航 日常证明：大模子是若何厚实笔墨的？_数字_含义_个数

日常证明：大模子是怎真奇怪淫民导航，你说这大模子到底是用什么看法厚实东谈主类笔墨的啊？

前几天我良伴这样问我。

我告诉她，大模子会把每个词都用数字来示意。

这样瞻望下一个词，就变成了在作念一谈计较题。

张开剩余92%

唯一连续地往后作念计较题，它就不错连续地输出笔墨。

她听好意思满像更疑心了的方法：然而一个词语的含义那么丰富，用数字是若何能把这些丰富含义都抒发出来的呢？

比如像「苹果」既不错是一种生果，又不错是一家公司，数字到底要若何抒发出复杂含义呢？

于是我决定换个方式给她日常证明一下。

咱们先假定「国王」这个词用1示意，「女王」这个词也用1示意。

是不是不错看作，这两个词在某一个维度上是疏导的，比如「地位」天然也可能是别的维度。

而如若「女王」这个词用2示意，就证实这两个词在某一个维度上是不同的，这个维度可能是「性别」，也不错是别的。

你看，用一个数字，就不错从一个维度上来描摹两个词的折柳。

咫尺咱们运行用两个数字来示意每一个词。

假定「国王」是（2，1），「女王」是（2，2）。

是不是不错看作，它们在某一个维度上（地位）是一样的，而在另一个维度上（性别）是不一样的。

你看，咱们用更多的数字来示意每一个词，就不错更缜密地来描摹它。

咫尺咱们再加两个词。

「男东谈主」这个词，在性别上和国王疏导，都是1，但是地位和国王不同，记为1，是以男东谈主是（1，1）。

「女东谈主」这个词和在性别上和女王疏导（都是2）淫民导航，地位上和男东谈主疏导是以记为(1，2）。

真谛的事情就发生了，你会发现：国王减去男东谈主再加上女东谈主，等于女王。

你看，在地位上，二减一再加一等于二。在性别上，一减一加二等于二，而二、二刚好即是女王。

咱们只是用了两个数来示意每一个词，再协作通俗的加减法，就模拟出了这四个词在两个维度上的折柳和相互相关。

那如若更多的数来示意每一个词，比如三个、十个数、一百个数、一千个数，况兼用更复杂的计较身手，不就不错从更多维度更缜密地描摹每一个词之间的相关？

践诺上大模子即是这样干的。

在GPT-1里，每一个词用768个精准到少量点后七位数的数字来示意。

在GPT-2里，每一个词是用1600个数来示意。

GPT-3，是用12288个数。

在DeepSeek 第二代模子里，用了21000个数来示意每一个词。DeepSeek-V3用7168个数来示意每一个词。

不外大模子不会告诉你，每一个数究竟代表什么道理，固然细目代表着某种含义约略属性。

用来示意每一个词的这一堆数字，专科术语叫「词镶嵌」，英文叫 embedding。

词镶嵌，为什么要叫这样奇怪的名字呢？

其实词镶嵌这个名字还挺形象。你看啊，刚才咱们用两个数字来示意一个词，两个数字是不是不错看作是一个二维坐标？约略是二维向量。

那么用两个数字来示意一个词，是不是就相配于把这个词，镶嵌到一个空间里。

用三个数字来示意一个词，就相配于把词镶嵌到一个三维空间里。

文爱

用7168个数来示意每个词，就相配于把这些词镶嵌到一个7168维的空间里，固然我画不出来，也思象不出来，但7168维的空间在数学上确乎存在。

这即是为什么它叫词镶嵌，因为真实是把词镶嵌到数学空间里。

趁机说一下，词镶嵌和Token ID是两个足够不同的东西。

Token ID是一个词在词库里的编号，而词镶嵌是径直用一堆数来模拟这个数。

TokenID相配于藏书楼里某本书的编号，而词镶嵌相配于这本书的节录。

那每一个词的词镶嵌的值是若何定出来的呢？

刚运行都是立时的，相配于扫数词立时缭乱地分散在一个房间里。

在大模子覆按阶段，就运行「打扫」房间，会字据东谈主类现存大量笔墨的分散法则，把每个词打理到最得当的位置上，道理左近的词通常会离得更近一些。

覆按完以后，每个词的位置相关就不错体现出它和其他词的相关，就像前边这个例子。

而一个词的含义，本体上即是由它和其他词的相关决定。

譬如说，咱们在证明一个词的技能，会用好多其他词来证明它，而用来证明的这些词，又需要用另一些词来证明，如斯来回，临了发现，词和词相互交汇在一皆才造成了每一个词的含义。

那像「苹果」这个词，又不错示意一种生果，又不错示意一家公司品牌。

那它的词镶嵌的位置，究竟是在生果这边，一经在公司这边呢？

谜底：都不是。

一运行，处在一个中间情状，就像薛定谔的猫。

当它和其他词出咫尺一皆，会相互发糊口较，改造它原本的值，崩塌为某一种更具体的含义。

比如当苹果前边出现了一个吃字，那这个吃字就会和苹果发糊口较，把苹果的词镶嵌更新为生果阿谁苹果。

而如若「苹果」的后头跟了一个「手机」约略「公司」，那这些词雷同会和苹果发糊口较，把苹果的词镶嵌更新为特意指代公司品牌的值。

这就像东谈主一样，也得通过险峻文来判断一个词的含义。

是以回过甚来，大模子是若何厚实笔墨的？

每一个词都是大量的数学计较。

—收工—‍‍

以下是本篇内容的视频版

心爱的话别忘了撑合手一下淫民导航

发布于：中国香港