添加 NVIDIA 集成以支持本地 LLM

我们应该添加对 NVIDIA GPU 加速的支持,以便在本地 LLM 推理中使用。这将使具有 NVIDIA 硬件的用户能够利用 CUDA 进行更快的处理,而不再仅依赖远程 API(如 OpenAI)。集成过程包括通过环境变量启用可选的本地 LLM 使用,如果本地服务器(例如 Ollama、LM Studio 或类似服务器)配置了 CUDA 支持,则可以默认使用 NVIDIA GPU。