GPU 选择与设备规格

我想建议一项功能,可在 Ollama Python 库中直接指定要运行的 GPU 或 GPU。这项功能在多个 GPU 和多个用户的共享服务器环境中至关重要,因为它可让每个 Jupyter 笔记本在相应的 GPU 上运行而不会发生冲突。目前,在 Ollama 中指定 GPU 使用有一定复杂性。通过在 Python 程序中直接为特定 GPU 分配任务,可避免冲突并优化工作流程。实现此功能将大大提高可用性,并使 Ollama 与其他机器学习框架保持一致。