[增强] xllamacpp NLP 适配器

解决方案建议

1. 为 xllamacpp 创建一个 NLP 适配器;我认为这与标准 OpenAI 适配器会有一些区别,例如使用 json_schema_to_grammar 函数 来激活结构化输出,并将 JSON 示例附加到每个提示,以确保 LLM 尽可能接近不需要 LLGuidance 干预的模型
2. 选择默认模型并将其 GGUF 文件编写到 NLP 适配器中,以便于使用,允许在缺少这些模型时自动下载
3. 创建一个 [local] 安装组,该组从 Windows 和 Linux 上的 Vulkan 索引 中引入 xllamacpp 包;这将允许无论最终用户是否拥有 NVIDIA、AMD、Intel 或 Apple GPU,都能立即进行加速推理(通过 PyPI 包可实现 Metal 加速)
4. 克隆医疗保健示例,以创建一个本地推理副本