官方构建指南

获取代码

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

安装依赖

sudo apt update
sudo apt install -y build-essential cmake git libcurl4-openssl-dev libomp-dev libopenblas-dev

构建

使用 CMake 构建 llama.cpp：

cmake -B build
cmake --build build --config Release -j 8

构建完成

$ ./build/bin/llama-cli --version
version: 5893 (0f4c6ec0)
built with cc (Ubuntu 13.3.0-6ubuntu2~24.04) 13.3.0 for x86_64-linux-gnu

推理测试

$ ./build/bin/llama-cli -m ~/.cache/modelscope/hub/models/Qwen/Qwen3-1.7B-GGUF/Qwen3-1.7B-Q8_0.gguf
...
> 你好，请你介绍一下自己
<think>
好的，用户让我介绍一下自己。首先，我需要确定用户的需求是什么。他们可能想了解我的功能、背景，或者只是想确认我的存在。我应该保持友好和专业的语气，同时提供有用的信息。

接下来，我要考虑如何组织内容。通常，自我介绍包括身份、能力、使用场景、注意事项等。需要确保信息准确，避免夸大其词，同时保持简洁明了。

然后，我需要检查是否有遗漏的重要信息。比如，我的语言能力、技术支持、隐私政策等。这些都是用户可能关心的点。此外，要提醒用户注意隐私，避免滥用信息。

还要注意用户可能的深层需求。他们可能想测试我的反应，或者寻找特定的帮助。因此，回答中应包含开放性问题，鼓励用户提出更多问题，促进进一步交流。

最后，保持语言自然，避免过于机械化的表达。使用亲切的问候语，比如“你好”，并表达愿意帮助的态度。确保整个回答流畅，信息全面，同时保持友好和专业的形象。
</think>

你好！我是你的AI助手，很高兴为你服务。我能够帮助你解答问题、提供信息、创作内容，甚至陪你聊天。无论你在学习、工作还是生活中遇到任何问题，都可以随时告诉我。

我支持多种语言，可以处理文字、图片、语音等多种形式的输入。不过，请注意以下几点：
1. **隐私保护**：我不会存储或使用你的个人数据，除非你明确授权。
2. **内容规范**：请遵守法律法规和道德准则，避免传播违法或不实信息。
3. **技术限制**：我无法替代专业意见，对于医疗、法律等需专业判断的问题，建议咨询相关领域专家。

如果你有任何问题，欢迎随时提问！ 😊