添加支持 OMLX 和通用 OpenAI 兼容 API 作为 AI 提供者
您想要看到什么改进或更新?
目前,GitButler支持AI供应商,包括OpenAI,Anthropic,Ollama,和LM Studio,用于AI生成的承诺消息和分支名称等功能. 然而,苹果硅上使用OMLX的macOS用户——一个基于本地MLX的本地LLM推论服务器——无法将其集成为AI供应商.
有两个改进建议:
** 添加原生的 OMLX 支持** 作为专用的 AI 提供者选项,类似于如何支持 Ollama 和 LM Studio. OMLX是一个开源,苹果硅优化的LLM推论服务器,它暴露出一个兼容的OpenAIZ API端点,为高性能推论利用了Apple的MLX框架,并具有一个本土的macOS菜单栏应用程序,便于管理.
** 添加一个通用"海关OpenAI-兼容API"的提供者选项**,允许用户为任何执行OpenAI聊天补全API规格的推断服务器指定任何基础URL和API密钥. 这将为AI供应商选择提供未来保护,并避免每当新的本地推论服务器获得受欢迎程度时,需要新的针对供应商的代码。
是否有任何背景可以帮助我们理解?
oMLX(https://GitHub.com/jundot/omlx)是专门为苹果硅(M1/M2/M3/M4+)所建的本地推论服务器,使用苹果公司的MLX框架. 它暴露出一个OpenAI相容的REST API,使得集成简单. 它支持连续分批和两级KV缓存(memory + SSD),并作为已签名/已公证的DMG——不需要CLI设置而来.
许多新出现的本地推论工具(例如:OMLX,LLaMA.cpp服务器,vLLM,LiteLLM,Jan等)已经实施了OpenAI兼容API spec. 添加一个通用的"海关端点"选项,并带有可配置的基础URL,模型名称,以及API密钥,将统一支持所有这些工具而不需要单个集成.
这对macOS Apple硅用户来说特别有价值,因为由于硬件更深的优化,OMLX在Ollama等替代品上显著地超过Ollama.
参考:现有的Ollama集成(PR #3741)表明,自定义端点支持在目前的AI客户端界面内在架构上是可行的.
- 文件页已经存在吗? 如果是,请与它链接。
内容来源: gitbutlerapp/gitbutler