llama.cpp

llama.cpp官网

llama.cpp 是一个使用纯 C/C++ 编写的开源大语言模型推理框架，由 Georgi Gerganov 创建，专注于在消费级硬件（包括 CPU、Appl

网站服务：AI项目，C，开源，本地推理，AI项目，C，开源，本地推理。

llama.cpp简介

Join the world’s most widely adopted， AI-powered developer platform where millions of developers， businesses， and the largest open source community build software that advances humanity。网站成立于2007年10月10日，该网站属于生活服务行业。已开启GZIP压缩，用户主要来自美国，主要流量来自直接访问。github.com的域名年龄为18年7个月17天，注册商为MarkMonitor Inc.，DNS为dns1.p08.nsone.net，dns2.p08.nsone.net，dns3.p08.nsone.net，dns4.p08.nsone.net，ns-1283.awsdns-32.org，ns-1707.awsdns-21.co.uk，ns-421.awsdns-52.com，ns-520.awsdns-01.net，域名更新时间是2024年09月07日，域名过期时间是2026年10月10日，距离过期还有136天。解析出来的IP有：20.205.243.166[新加坡 微软云]。

llama.cpp 是一个使用纯 C/C++ 编写的开源大语言模型推理框架，由 Georgi Gerganov 创建，专注于在消费级硬件（包括 CPU、Apple Silicon、普通 GPU）上高效运行开源 LLM。它不依赖任何深度学习框架，通过自研的 GGML/GGUF 张量库实现跨平台高性能推理，是本地运行 LLM 的事实标准之一。

llama.cpp 支持 4-bit、8-bit 等多种量化方案，显著降低模型对内存和显存的需求，使普通笔记本电脑也能运行 7B 乃至 70B 参数的大模型。GGUF 格式已成为开源社区分发量化模型的通用格式，Ollama、LM Studio 等工具均基于或兼容 llama.cpp。

极致硬件兼容性：支持 x86/ARM CPU、Apple Metal（M 系列芯片）、CUDA、OpenCL 等多种计算后端高效量化推理：支持 Q2 到 Q8 全系列 GGUF 量化格式，在消费级硬件上实现可用的推理速度生态基石地位：GGUF 模型格式被 Ollama、LM Studio、Jan 等工具广泛采用，Hugging Face 托管大量 GGUF 模型

llama.cpp官网入口网址

https://github.com/ggml-org/llama.cpp

AI聚合大数据显示，llama.cpp官网非常受用户欢迎，请访问llama.cpp网址入口（https://github.com/ggml-org/llama.cpp）试用。