使大型 AI 模型更便宜、更快速、更易于访问
跳过繁琐的过程。通过 HPC-AI 模型 API 无缝访问强大、上下文长的 LLM！
为了了解这些性能提升如何应用于现实世界的应用程序,我们在 LLaMA 类似的模型上使用 Colossal-AI 进行了 大语言模型 训练基准测试。分别在 8 卡和 16 卡配置上对 7B 和 70B 模型进行了测试。
[BUG]: 工作流序列分类对左边填充的输入选择了错误的标记（LLaMA、Qwen2、OPT）
fx tracer/rope init 硬编码设备,因此 NPU 运行会回退到 CPU(或崩溃)
CI: 使用严密的烟雾测试来替换明确的示例跳转
[DOC]: 如何使用 sgd 优化器?
[DOC]:被添加的日本README
[DOC]:用来训练Colossal-LLaMA-2的数据集是什么??
[DOC]: 环境安装失败
[DOC]: 更新 1D、2D、2.5D、3D 张量并行的 ShardConfig 文档
[DOTry 直接使用 lora_finetune.py 却出现错误 /bin/bash: 第 1 行: export: `=/usr/bin/supervisord': 不是有效标识符
[DOC]: 可以使用 ColossalAI 训练自定义的模型