[AI Glimpse 科普系列] KV Cache 的原理推导与代码实现(基于 GPT2)

[huangyezhufeng]

• 博客地址: LLM KV Cache: A Simple Implementation
• 重点讲解了为什么需要在推理阶段做 KV Cache
• 代码基于 GPT2 实现，可以在 16G 显卡上运行复现，代码开源在 ai-glimpse/toyllm: ToyLLM: Learning LLM from Scratch