当前位置:当前位置: 首页 >
为什么我还是无法理解transformer?
人气:发表时间:2025-06-25 14:45:13
不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
同类文章排行
- 马斯克的星舰是不是打脸了中国航天?
- 有没有大佬用过Spirit这个微磁学模拟软件,能不说下怎么安装,搞不赢……?
- 下一代 Xbox 主机售价可能超过 1000 美元,对此你怎么看?值得入手吗?
- 魔兽世界有必要4k吗?
- 国产轮胎那么便宜,为什么很多人非要买高价的国外轮胎??
- 为什么几乎没人用电视屏幕连主机或者笔记本当显示器?
- 全世界为何只有咱中国人不屑美军的B2隐身轰炸机?
- 为什么现在的年轻人更容易觉得疲惫?
- 有哪些BI工具惊艳了你?
- 为什么 Bun 选择了 Zig 以及 JSCore?
最新资讯文章
- 为什么Steam Deck能做好Windows游戏转译但是Apple Mac就做不好?
- 在山上挖一座不放鱼的池塘,再过100年时间,里面会慢慢有鱼吗?
- 为什么现在的年轻人更容易觉得疲惫?
- 为什么华为价值2.3W的鸿蒙电脑用的是美国西数的SN740固态硬盘?
- 开源项目都有哪些盈利模式,都是怎么坚持下来的?
- PHP现在真的已经过时了吗?
- 如何评价电影《F1:狂飙飞车》?
- 谁是对Mac有成见然后用完Mac后真香的?
- 各位都在用Docker跑些什么呢?
- 鱼缸能不能做到一直不换水还很清澈?
- 你们在编程时遇到过什么离谱的bug吗?
- 养乌龟只养一只,它觉得会孤独吗?
- 脸与身材不符是种怎样的体验?
- 把贵州省撤销,设立一个超大型国家自然公园,是不是一个好的提法?
- 周杰伦被曝现身日本弯腰驼背似老人,是真的吗?他曾称患有强直性脊柱炎,这病对身体影响有多大?能治好吗?
- 为什么 WebStorm 这么好用还会有人去用 VSCode?
- 「香港四大才子」之一蔡澜去世,你对他有哪些了解?如何评价他的成就?
- C/C++中如何稳定地每隔5ms执行某个函数?
- 如何使用 Github Pages 和 Hexo 搭建个人博客?
- 如何评价网易国产动作冒险单机新作《归唐》首支预告片?





