为 LLM 应用提供数据摄取与索引的开源框架，常用于构建 RAG 系统。

基于深度文档理解的开源 RAG 引擎，擅长解析复杂版式 PDF 并溯源引用。

Hugging Face 的开源预训练模型库，统一接口调用数千个主流模型。

为 AI 应用设计的轻量开源向量数据库，配置简单、适合 RAG 原型开发。

伯克利开源的高吞吐大模型推理框架，用 PagedAttention 提升并发能力。

纯 C/C++ 的本地大模型推理框架，让消费级硬件也能跑动开源 LLM。

俗称 oobabooga 的开源 LLM 网页界面，多后端本地运行并可接 OpenAI API。