百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
F

foundry-local

> 编程语言
开源

在应用中内置设备端 AI </div Foundry Local 是一套端到端的本地 AI 解决方案,可用于构建完全在设备上运行的应用程序。

2.5K stars0 点赞1 次浏览
访问官网GitHub

工具介绍

在应用中内置设备端 AI </div Foundry Local 是一套端到端的本地 AI 解决方案,可用于构建完全在设备上运行的应用程序。

Foundry Local 是一款**端到端的本地 AI 解决方案**,用于构建完全在用户设备上运行的应用程序。它提供原生 SDK(C#、JavaScript、Python 和 Rust)、经过优化的模型目录以及自动硬件加速,所有内容都集成在一个轻量级包(约 20 MB)中。小巧的体积使其易于集成到您的应用程序中并分发给最终用户。用户数据永远不会离开设备,响应立即开始,网络延迟为零,您的应用程序可在离线状态下运行。不收取每个令牌费用,无需 API 密钥,无需维护后端基础设施,也不需要 Azure 订阅。
  • 轻量级运行时 — 运行时负责模型获取、硬件加速、模型管理和推理(通过 ONNX 运行时)。

  • 自动硬件加速 — Foundry Local 会检测用户设备上的可用硬件,并选择最佳执行提供商和设备(NPU、GPU 或 CPU)。

  • 可选的本地服务器 — 一个与 OpenAI 兼容的 Web 服务器,用于向多个用户提供模型

Issues· 0 开放

查看全部 Issues在 GitHub 打开

暂无开放 Issues,或尚未同步最近议题。

> 标签

C++ai-sdkchat-completionsfoundry-localgpu-acceleration

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月17日
分类编程语言
定价开源

> 相关工具

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言