localGPT

开源

使用 GPT 模型与本地设备上的文档聊天。没有数据留下你的设备和100%的隐私.

22.2K stars0 点赞0 次浏览

工具介绍

使用 GPT 模型与本地设备上的文档聊天。没有数据留下你的设备和100%的隐私.

本地GPT - 私人文档智能平台 QQ 什么是本地GPT? 本地GPT是一个完全私有,精密的文件智能平台. 问问题、总结、从你的档案中找出真知灼见, 超过传统RAG(Retrival-Augmented Generation)工具,LlocalGPT具有混合搜索引擎的功能,将密集矢量搜索与LanceDB的本土全文搜索相接,由校正的交叉编码器重排器仲裁. 智能路由器在RAG和直接LLM之间选择每个查询的答案,而上下文浓缩和句子级上下文运行表面则只是最相关的内容. 可选的通道——"后春京"(Late Chunking),一个独立解答验证步骤,以及实验性的多变量(后相接)检索——每个配置可以被切换;默认的飞船带有精确的组件能得到th......

核心特点

•Utmost Privacy: Your data remains on your computer, ensuring 100% security.
•Versatile Model Support: Swap generation models freely via Ollama.
•Diverse Embeddings: HuggingFace embedding models (harrier-oss-v1, the Qwen3-Embedding family) or any Ollama embedding tag.
•Reuse Your LLM: Once downloaded, reuse your LLM without the need for repeated downloads.
•API: A REST gateway on port 8000 and the RAG API on port 8001 for building your own applications.
•CUDA, MPS & CPU: Embedding and reranking pick CUDA, then Apple MPS, then CPU automatically.
•Formats: PDF, DOCX, HTML/HTM, Markdown, and TXT, parsed by Docling
•Contextual Enrichment: Chunk-level context generated by a small LLM, inspired by Contextual Retrieval
•Document Overviews: A short per-document summary written to index_store/overviews/<id>.jsonl and used by the router
•Natural Language Queries: Ask questions in plain English