transformer_study

4 Commits 1 Branch 0 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
XingfenD	7856f5bf4c	拆分transformer.py为独立模块按Transformer架构组件拆分： - utils.py: 激活函数和掩码工具 - layers.py: 基础层（Linear, LayerNorm） - attention.py: 多头注意力机制 - feedforward.py: 前馈网络 - block.py: Transformer编码器块 - model.py: SimpleTransformer模型 - inference.py: 推理引擎 - 删除旧的transformer.py文件	2026-07-17 11:23:11 +08:00
XingfenD	c57a9bf9e6	添加KV Cache支持：实现prefill/decode阶段分离 - MultiHeadAttention类添加KV cache机制 - TransformerBlock支持use_cache参数 - SimpleTransformer新增prefill和decode方法 - 添加InferenceEngine推理引擎类 - 更新example.py演示推理过程 - 更新README.md文档	2026-07-16 15:07:47 +08:00
XingfenD	836060ecdf	Initial commit: Simple Transformer implementation	2026-07-16 14:29:12 +08:00

Author

SHA1

Message

Date

XingfenD

7856f5bf4c

拆分transformer.py为独立模块

按Transformer架构组件拆分：
- utils.py: 激活函数和掩码工具
- layers.py: 基础层（Linear, LayerNorm）
- attention.py: 多头注意力机制
- feedforward.py: 前馈网络
- block.py: Transformer编码器块
- model.py: SimpleTransformer模型
- inference.py: 推理引擎
- 删除旧的transformer.py文件

2026-07-17 11:23:11 +08:00

XingfenD

c57a9bf9e6

添加KV Cache支持：实现prefill/decode阶段分离

- MultiHeadAttention类添加KV cache机制
- TransformerBlock支持use_cache参数
- SimpleTransformer新增prefill和decode方法
- 添加InferenceEngine推理引擎类
- 更新example.py演示推理过程
- 更新README.md文档

2026-07-16 15:07:47 +08:00

XingfenD

836060ecdf

Initial commit: Simple Transformer implementation

2026-07-16 14:29:12 +08:00