llama2-chatbot

LLaMA 2 聊天机器人应用 ⚡️ 这是什么？

• 保留每个会话的聊天记录（如果刷新，聊天记录将清空） - 可选择不同的 LLaMA2 聊天 API 端点（7B、13B 或 70B）。默认为 70B。 - 从侧栏中配置模型超参数（温度、顶层 P、最大序列长度）。 - 包含“用户：”和“助理：”提示，用于聊天对话。 - 每个模型（7B、13B 和 70B）都在 Replicate 上运行 - 7B 和 13B 运行在一个 A100 40Gb 上，70B 运行在一个 A100 80Gb 上。 - 附带了 Docker 图像，用于在 Fly.io 中部署此应用。

• 克隆仓库

• [可选] 使用命令 Python -m venv .venv 创建一个虚拟 Python 环境，然后使用 source .venv/bin/activate 启动该环境

• 使用 pip install -r requirements.txt 安装依赖项

• 在 Replicate 上创建帐户

• 在 Auth0 (免费) 上创建帐户，并配置您的应用程序

• • 创建单页面应用程序
• • 导航到该应用程序的“设置”选项卡
• • 如果您在本地运行应用程序：将“允许的 Web 来源”设置为 http://localhost:8501，并将“允许的回调 URL”设置为 `http://localhost:8501/component/auth0_component.login_button/index.html``
• • 如果要在远程服务器上运行：将“允许的 Web 来源”设置为 https://<your_domain>，并将“允许的回调 URL”设置为 `http://<your_domain>/component/auth0_component.login_button/index.html``
• • 复制客户端 ID 和域，以便在下一步中使用

• 使用命令 cp .env_template .env 创建自己的 .env 文件。然后编辑 .env 文件，并添加以下内容：

• • Replicate API 令牌 设置为 REPLICATE_API_TOKEN
• • Auth0 客户端 ID 设置为

More info.