# LLMFarm
### 在 TestFlight 和 Appstore 中,该应用程序暂时不可用。
---
LLMFarm 是一款用于处理大型语言模型 (LLM) 的 iOS 和 MacOS 应用程序。它允许您加载具有特定参数的不同 LLM。使用 LLMFarm，您可以在 iOS 和 macOS 上测试不同 LLM 的性能，找到最适合您项目的模型。
基于 [ggml](https://github.com/ggerganov/ggml) 和 [LLaMA.cpp](https://github.com/ggerganov/llama.cpp),作者为 [Georgi Gerganov](https://github.com/ggerganov)。
# 特性
- [x] MacOS (13+)
- [x] iOS (16+)
- [x] 各种推断
- [x] 各种采样方法
- [x] Metal ([不支持](https://github.com/ggerganov/llama.cpp/issues/2407#issuecomment-1699544808) 在 Intel Mac 上)
- [x] 模型设置模板
- [x] [恢复上下文状态](https://llmfarm.tech/docs/save_load_state)
- [x] [Apple Shortcuts](https://llmfarm.tech/docs/shortcuts)
- [x] [RAG](https://llmfarm.tech/docs/RAG/RAG%20Settings)