Transformer模型构架学习

一、Transformer整体构架

二、Transformer中的QKV

参考文章：https://blog.cnbang.net/tech/3934/ 、 https://zhuanlan.zhihu.com/p/688660519

LoRA微调

https://zhuanlan.zhihu.com/p/646791309

奇异值分解：https://blog.csdn.net/lomodays207/article/details/88687126