TinyAI

TinyAI - 全栈式 AI 框架

---

项目简介

TinyAI 是一个完全基于 Java 构建的全栈式 AI 框架，提供从底层数值计算到前沿 AI 应用的完整技术栈。项目采用清晰的六层架构设计，包含 23 个核心模块，覆盖深度学习框架、大语言模型、智能体系统和具身智能四大技术领域。

✨ 为什么选择 TinyAI

** 教育友好 & 生产可用**

• 零门槛学习：完整中文注释、30万字技术文档、800+测试用例，适合AI入门与深度学习
• 企业级架构：模块化设计、并行训练、模型序列化、完整的DevOps支持
• 纯Java实现：零Python依赖，无需配置复杂的深度学习环境，与Java生态无缝集成

** 全栈技术覆盖**

• 底层引擎：自研多维数组库、动态计算图、自动微分引擎
• 深度学习：50+神经网络层、完整训练引擎、强化学习算法
• 大语言模型：GPT系列、DeepSeek R1/V3、MiniMind、多模态Banana
• 智能体系统：RAG检索增强、多智能体协作、认知模式库、自进化机制
• 具身智能：自动驾驶模拟、VLA架构、世界模型、想象训练

️ 架构设计哲学

简洁性 (Simplicity) - 用最少的代码表达最复杂的AI概念

Variable x = Variable.of(ndarray);
Variable y = x.relu().linear(128).softmax();
Loss loss = CrossEntropyLoss.of(y, target);
loss.backward();  // 一行代码完成反向传播

透明性 (Transparency) - 每个操作都可以追溯到源码

public class LinearLayer extends Module {
    @Override
    public Variable forward(Variable input) {
        Variable result = input.matmul(weight);
        return bias != null ? result.add(bias) : result;
    }
}

模块化 (Modularity) - 灵活组合，按需使用

// 深度学习基础
NdArray array = NdArray.randn(Shape.of(100, 784));
Variable var = new Variable(array, true);

// 大语言模型
GPT2Model gpt2 = GPT2Model.createSmallModel("my-gpt2");
DeepSeekR1Model r1 = new DeepSeekR1Model("deepseek-r1", config);

// 智能体系统  
AdvancedAgent agent = new AdvancedAgent("AI助手", "专业领域");
agent.addKnowledge("知识内容", "knowledge_id");

// 具身智能
EmbodiedAgent embodiedAgent = new EmbodiedAgent(config);
Episode episode = embodiedAgent.runEpisode(maxSteps);

⭐ 核心能力

四大技术领域全覆盖

** 深度学习框架层**

7个核心模块 · 150K+ 行代码

• 多维数组库 - 高性能张量计算、广播机制
• 自动微分引擎 - 动态计算图、自动求导
• 神经网络层 - 50+层类型（CNN/RNN/Transformer）
• 训练引擎 - 并行训练、混合精度、检查点
• 优化器库 - SGD/Adam/AdamW等主流优化器
• 强化学习 - DQN/REINFORCE/PPO完整实现
• 应用示例 - MNIST/CartPole等经典案例

** 大语言模型层**

4个模型模块 · 40K+ 行代码

• GPT系列 - GPT-1/2/3完整实现，支持125M-175B参数
• DeepSeek R1 - 推理专用模型，RL训练涌现能力
• DeepSeek V3 - MoE架构，代码生成优化
• MiniMind - 轻量级教学模型，完整训练流程
• Banana - 多模态图像生成，文本转图像
• 训练流程 - 预训练/SFT/RL/DPO完整pipeline
• 高级特性 - 任务感知路由、稀疏激活

** 智能体系统层**

5个智能体模块 · 30K+ 行代码

• 基础框架 - 记忆管理、工具调用、MCP协议
• RAG系统 - 语义检索、向量数据库、知识库
• 多智能体 - 协作通信、任务分配、角色管理
• 自进化 - 经验学习、策略优化、持续改进
• 认知模式 - ReAct/Reflection/Planning模式库
• 高级能力 - 深度研究、代码生成、文档处理

** 具身智能层**

4个具身模块 · 25K+ 行代码

• 自动驾驶 - 6种场景模拟（高速/城市/停车）
• 机器人控制 - 路径规划、避障、SLAM算法
• VLA架构 - 视觉-语言-动作统一建模
• 世界模型 - VAE编码+MDN-RNN预测
• 传感器系统 - 激光雷达/摄像头/GPS等
• 想象训练 - 在内部模型中训练，样本效率提升10x
• 端到端学习 - 从感知到动作的完整闭环

技术亮点与优势

维度	技术特性	实际价值
** 学习成本**	完整中文注释 + 30万字文档 + 890+测试	AI入门首选，理论实践结合
️ 架构设计	6层清晰架构 + 23个模块 + 高度解耦	易于理解、扩展和维护
** 技术栈**	100% Pure Java + JDK 17+	零Python依赖，与企业系统无缝集成
⚡ 性能	并行训练 + 混合精度 + 模型量化	训练速度提升3-5x
** 前沿技术**	DeepSeek R1/V3 + VLA + 世界模型	紧跟学术前沿，2025最新架构
** 部署**	Maven标准化 + 模型序列化 + CLI工具	一键构建，开箱即用
** 质量保证**	890+测试用例 + 93%+覆盖率	生产级可靠性
** 可扩展性**	模块化设计 + 插件系统 + Hook机制	轻松添加新功能

️ 技术架构

六层架构设计

TinyAI 采用自底向上的六层架构设计，每层职责清晰，依赖关系明确：

…

️ 模块统计概览

技术层次 模块数 核心模块 主要功能

应用层 1 tinyai-deeplearning-case 完整的应用示例、教学演示案例

智能体层 5 context、rag、multi、evol、pattern 智能体框架、RAG、协作、自进化、认知模式

模型层 4 gpt、deepseek、minimind、banana GPT系列、DeepSeek R1/V3、轻量级模型、多模态

具身智能层 4 base、robot、vla、wm 自动驾驶、机器人控制、VLA、世界模型

框架层 6 ml、nnet、rl、nl、cv、case 训练引擎、网络层、强化学习、嵌套学习、CV

⚡ 引擎层 1 func 自动微分、动态计算图、数学函数库

基础层 1 ndarr 多维数组、张量运算、广播机制

总计 23个核心模块（原26个，经重构优化）

架构设计原则

1. 分层解耦 (Layered Decoupling)

• 每层只依赖下层，上层对下层透明
• 底层变化不影响上层业务逻辑
• 支持按层进行单元测试和集成测试

2. 模块化 (Modularity)

• 每个模块职责单一、边界清晰
• 支持模块的独立开发、测试和部署
• 可以选择性引入需要的模块

3. 可扩展性 (Extensibility)

• 预留扩展点，支持插件机制
• 通过继承和组合实现功能扩展
• Hook机制支持在关键节点注入自定义逻辑

4. 高性能 (High Performance)

• 底层使用高效的数组操作
• 支持并行计算和模型并行
• 内存优化和计算图剪枝

快速开始

环境要求

项目	版本/配置	说明
Java	JDK 17+	核心语言，推荐使用 OpenJDK 17
Maven	3.6+	构建和依赖管理工具
内存	8GB+	训练大模型建议 16GB+
存储	3GB+	源码 + 编译产物 + 模型检查点
操作系统	Windows/Linux/MacOS	跨平台支持

⚡ 一键安装

# ① 克隆项目
git clone https://github.com/leavesfly/TinyAI.git
cd TinyAI

# ② 验证Java版本
java -version  # 确保 >= 17

# ③ 构建全部模块（推荐）
mvn clean install -DskipTests

# ④ 运行测试（可选，验证安装）
mvn test

# ⑤ 查看模块列表
ls -d tinyai-*/

** 安装成功标志**：看到 BUILD SUCCESS 即表示安装完成！

30秒快速体验

场景1：深度学习 - 手写数字识别

…

场景2：大语言模型 - 文本生成

…

场景3：智能体系统 - 知识问答

…

场景4：具身智能 - 自动驾驶模拟

…

运行完整示例

…

核心模块

深度学习框架层（7个模块）

模块	说明	核心功能	状态
tinyai-deeplearning-ndarr	多维数组库	N维数组、广播机制、内存优化、形状操作	✅ 稳定
tinyai-deeplearning-func	自动微分引擎	动态计算图、反向传播、50+数学函数	✅ 稳定
tinyai-deeplearning-nnet	神经网络层	全连接/卷积/循环/Transformer/50+层	✅ 稳定
tinyai-deeplearning-ml	机器学习核心	模型管理、训练器、优化器、并行训练	✅ 稳定
tinyai-deeplearning-rl	强化学习	DQN/REINFORCE/PPO、经验回放、策略梯度	✅ 稳定
tinyai-deeplearning-nl	嵌套学习	多层级优化、关联记忆、持续学习、灾难性遗忘避免	✅ 前沿
tinyai-deeplearning-case	应用示例集	MNIST/CartPole等6大类完整演示	✅ 稳定

技术亮点：

• ✨ 纯Java实现：零外部依赖，100%自研核心引擎
• ⚡ 高性能：支持并行训练，相比单线程提速3-5x
• 易用性：链式API，一行代码完成复杂操作
• 完整性：从底层数组到训练引擎的全链路支持
• 前沿研究：嵌套学习（Google NeurIPS 2025）解决灾难性遗忘

大语言模型层（4个模块）

模块	说明	核心模型	状态
tinyai-model-gpt	GPT系列	GPT-1/2/3，支持125M-175B参数	✅ 稳定
tinyai-model-deepseek	DeepSeek系列	R1推理模型、V3代码生成、MoE架构	✅ 最新
tinyai-model-minimind	轻量级LLM	教学友好，完整训练流程（预训练/SFT/RL）	✅ 稳定
tinyai-model-banana	多模态	文本生成图像、VisionTransformer、跨模态融合	实验

技术亮点：

• 前沿架构：DeepSeek R1/V3 最新推理和代码生成模型
• 完整流程：预训练 → 后训练 → RL/DPO 全流程实现
• ⚙️ 高级特性：MoE混合专家、任务感知路由、稀疏激活
• 工程化：模型检查点、增量训练、CLI工具

模型对比：

模型	参数量	层数	维度	特点	适用场景
GPT-1 Small	125M	12	768	经典架构	学习入门
GPT-3 Large	1.3B	24	2048	并行计算	文本生成
DeepSeek R1	671B*	60	7168	RL推理	复杂推理
DeepSeek V3	671B*	61	7168	MoE代码	代码生成
MiniMind Small	26M	6	512	轻量快速	教学/嵌入式
Banana Tiny	60M	8	512	多模态	图像生成

*DeepSeek 使用 MoE 架构，实际激活参数约 25%

智能体系统层（5个模块）

模块	说明	核心能力	状态
tinyai-agent-context	基础框架	记忆管理、工具调用、MCP协议、上下文维护	✅ 稳定
tinyai-agent-rag	检索增强	语义检索、向量数据库、知识库管理	✅ 稳定
tinyai-agent-multi	多智能体	消息通信、任务分配、角色协作	✅ 稳定
tinyai-agent-evol	自进化	经验学习、策略优化、持续改进	✅ 稳定
tinyai-agent-pattern	认知模式库	ReAct/Reflection/Planning/CoT思维链	✅ 稳定

技术亮点：

• 认知架构：完整的感知-思考-行动闭环
• 记忆系统：短期记忆、长期记忆、情景记忆
• 工具生态：可扩展的工具调用框架
• 协作能力：多智能体通信和任务协同

具身智能层（4个模块）

模块	说明	核心功能	状态
tinyai-embodied-base	自动驾驶基础	6种场景（高速/城市/停车/十字路口/环岛/乡村）	✅ 稳定
tinyai-embodied-robot	机器人控制	路径规划、避障、SLAM、多传感器融合	✅ 稳定
tinyai-embodied-vla	VLA架构	视觉-语言-动作统一建模、端到端学习	实验
tinyai-embodied-wm	世界模型	VAE编码器、MDN-RNN预测、想象训练	✅ 稳定

技术亮点：

• 完整仿真：6种自动驾驶场景，覆盖90%常见路况
• 机器人算法：A*、RRT、DWA等路径规划算法
• ️ 多模态感知：激光雷达、摄像头、GPS、IMU等5种传感器
• 世界模型：在想象中训练，样本效率提升10x

项目统计

代码规模

指标	数值	说明
核心模块数	23个	覆盖6个技术层次（原26个，经重构优化）
Java类文件	900+	精心设计的类结构体系
代码行数	180,000+	不含注释和空行的有效代码
测试用例	890+	完整的单元测试和集成测试
文档页数	450+	30万字完整技术文档
支持场景	60+	从基础到前沿的应用场景

测试覆盖率

模块类别	测试数量	覆盖率	状态
深度学习框架	450+	95%+	✅ 全部通过
大语言模型	180+	90%+	✅ 全部通过
智能体系统	150+	92%+	✅ 全部通过
具身智能	110+	95%+	✅ 全部通过
总计	890+	93%+	✅ 全部通过

模块详细统计

模块	类文件	代码行数	测试用例	核心组件
ndarr	45+	12,000+	120+	NdArray、Shape、Storage
func	80+	18,000+	150+	Variable、Function、Optimizer
nnet	150+	35,000+	180+	Module、Layer、Transformer
ml	60+	15,000+	100+	Model、Trainer、Evaluator
rl	35+	8,000+	50+	DQN、REINFORCE、PPO
gpt	40+	12,000+	50+	GPT1/2/3、Tokenizer
deepseek	45+	15,000+	50+	R1/V3、MoE、TaskRouter
minimind	50+	18,000+	70+	Model、Tokenizer、Trainer
banana	30+	8,000+	30+	Encoder、Decoder、Fusion
agent-context	35+	10,000+	40+	Agent、Memory、Tool
agent-rag	30+	8,000+	35+	Retriever、VectorDB
embodied-base	40+	12,000+	45+	Environment、Sensor
embodied-wm	25+	6,000+	25+	VAE、MDN-RNN、Controller

学习路径

配套教程文档

TinyAI 提供了完整的学习文档体系，位于 book/ 目录：

• 快速入门 (quick-start/) - 3个快速上手教程
• 第一部分：深度学习篇 (part1-deep-learning/) - 12章，从基础到高级
• 第二部分：大语言模型篇 (part2-llm/) - 4章，覆盖Transformer到DeepSeek
• 第三部分：智能体篇 (part3-agents/) - 5章，从单体到多智能体协作
• 第四部分：具身智能篇 (part4-embodied/) - 4章，从模拟到真实机器人

学习路径规划

graph LR
    A[入门] --> B[基础]
    B --> C[进阶]
    C --> D[高级]
    D --> E[专家]
    
    A1[环境搭建
快速上手] --> A
    B1[多维数组
自动微分] --> B
    C1[模型训练
深度学习] --> C
    D1[大语言模型
智能体] --> D
    E1[具身智能
前沿研究] --> E

初级路径：理解基础概念（1-2周）

目标：掌握深度学习基础和框架使用

1. 多维数组操作 - tinyai-deeplearning-ndarr

   • ✅ 理解N维数组的创建和操作
   • ✅ 掌握广播机制和形状变换
   • ✅ 完成矩阵运算练习
   • 参考：chapter02-ndarray-core

2. 自动微分原理 - tinyai-deeplearning-func

   • ✅ 理解动态计算图
   • ✅ 掌握反向传播机制
   • ✅ 实现简单的梯度计算
   • 参考：chapter03-autograd-engine

3. 神经网络构建 - tinyai-deeplearning-nnet

   • ✅ 掌握各类神经网络层
   • ✅ 理解Module组合模式
   • ✅ 构建简单的MLP模型
   • 参考：chapter05-neural-network-blocks

中级路径：模型训练与应用（2-3周）

目标：掌握完整的模型训练流程

1. 机器学习框架 - tinyai-deeplearning-ml

   • ✅ 掌握Trainer训练流程
   • ✅ 理解优化器和损失函数
   • ✅ 实现并行训练
   • 参考：chapter07-training-engine

2. 计算机视觉 - tinyai-deeplearning-case

   • ✅ MNIST手写数字识别
   • ✅ CNN卷积神经网络
   • ✅ 图像分类任务
   • 参考：chapter08-computer-vision

3. 强化学习 - tinyai-deeplearning-rl

   • ✅ CartPole环境搭建
   • ✅ DQN算法实现
   • ✅ 策略梯度方法
   • 参考：chapter10-reinforcement-learning

高级路径：前沿技术探索（3-4周）

目标：掌握大语言模型和智能体系统

1. 大语言模型基础
   • GPT系列 - 理解Transformer架构和文本生成
   • [MiniMind](tinyai-model/tinyai-mo