我最讨厌编码代理的设置 就是它们能很快成为机器的一部分 提供方配置在一个地方去, 会话状态在其他地方去, 本地模型生活在另一个目录, 突然移动到第二个机器意味着重建环境。
OpenClaude-Portable采取更清洁的方法.
它将编码代理,运行时间和持续数据包入自成一体的文件夹.
它支持同一设置的云和本地模型 该项目目前支持9个提供商选项: Anthropic Claude OpenAI Google 双子座深层Seek NVIDIA NIM Ollama LM Studio 自定义 OpenAI-兼容API I喜欢这样,因为可移植部分没有绑在一个模型供应商上.
当我想要最强大的主机选项时,我可以使用一个云模型,然后在我想要本地工作流程时切换到Ollama或LM工作室.
重要的警告很简单:云供应商仍然需要互联网。
Ollama可以在初始设置后下线. "零足迹"的想法比听起来有用 该项目将其持久性数据重定向到本地文件夹中。
这包括提供者设置,API密钥,日志,会话历史,代理内存和本地的Ollama文件.
根据寄存器,它不会将配置写入主机系统.
对我来说,这是真正的特征。
我不在乎那个特工是否在USB驱动器上 我关心的是,我可以移动文件夹 并保持我的环境与它。 💾 有两种非常不同的方法运行代理 发射装置提供正常模式,在文件写入或 shell 命令之前询问.
还有一个可选的无限制模式可以不经批准提示运行.
我喜欢这些是明确的选择,而不是一个隐藏的许可开关。
为了正常的发展,我会保持批准模式。
对于可支配测试项目或受控自主任务,第二种模式可能有用.
会话可以幸存下来 另一个实际细节是会话复会.
项目将会话历史存储在便携式数据文件夹中,并包含中断会话的恢复命令.
这对我来说比一个闪闪发光的UI特性更重要,因为一个代理只有在工作环境没有被不断抛弃的情况下,才能随着时间的推移变得有用.
也有一个浏览器仪表板,带有聊天风格的界面,代理模式,工具卡和思维可视化.
所以,你并不局限于一个 终端唯一的体验。
本地模式优化令人惊讶的是,在CPU上针对一个小型的Ollama模型运行一个编码代理,其速度可能令人痛苦地缓慢,因为代理本身发送出一个大型系统即时.
OpenClaude-Portable包括一个本地代理,在发送到Ollama前会先进行修剪以提示.
寄存器说它将这个本地路径的快取从大约一万个令牌减少到了大约三百个,并报告典型的先接即发从60-120秒提高到了大约5-20秒的CPU仅限硬件.
我将这些数字视为项目报告而不是通用基准,但这个想法是明智的:优化本地小型模型的局限性的代理协议,而不是假装本地和云推论的行为相同。
基础安装很小 工程本身需要大约150MB用于运行时间和引擎.
本地模型是快速增长的部分,寄存器根据奥拉马模型建议大约800 MB到8 GB.
这使得一个便携式的设置是现实的。
来自README的一则警告值得重复:在慢USB媒体上首次安装需要10-15分钟.
USB 3.x驱动器或者在内部存储和复制完成的文件夹后进行初始设置是一种更好的体验.
我用它做什么?
我不会把我的原始发展环境 放到随机的闪存盘上。
但是,我绝对看到价值在一个准备好的便携式代理: 旅行一个备份机器 一个恢复环境 临时工作站离线 与一个小型本地模型测试不同的供应商 不重建配置 对我来说,OpenClaude-Port