Commit Graph
4 Commits
Author SHA1 Message Date
XingfenD 7856f5bf4c 拆分transformer.py为独立模块
按Transformer架构组件拆分:
- utils.py: 激活函数和掩码工具
- layers.py: 基础层(Linear, LayerNorm)
- attention.py: 多头注意力机制
- feedforward.py: 前馈网络
- block.py: Transformer编码器块
- model.py: SimpleTransformer模型
- inference.py: 推理引擎
- 删除旧的transformer.py文件
2026-07-17 11:23:11 +08:00
XingfenD c57a9bf9e6 添加KV Cache支持:实现prefill/decode阶段分离
- MultiHeadAttention类添加KV cache机制
- TransformerBlock支持use_cache参数
- SimpleTransformer新增prefill和decode方法
- 添加InferenceEngine推理引擎类
- 更新example.py演示推理过程
- 更新README.md文档
2026-07-16 15:07:47 +08:00
XingfenD e9d9d5a2af 添加中文注释 2026-07-16 14:39:39 +08:00
XingfenD 836060ecdf Initial commit: Simple Transformer implementation 2026-07-16 14:29:12 +08:00