Carpela

本文主要记录使用大模型开发的一些常见场景，作为一个初步开发指南： 如何本地部署大模型 如果基于API简单开发 简单的 RAG 应用 MCP Server 应用 本地环境为 MacOS，开发语言使用 Python 本地部署大模型 首先需要安装本地大模型管理工具，建议使用 Ollama 即可 方式一：从官网下载并安装 Ollama 方式二：命令行直接安装 brew install ollama 安装完成后，可以执行 ollama serve 命令启动 ollama ，随后通过以下命令拉取最新的 qwen3 8b 模型： ollama pull qwen3:8b Ollama 基本支持所有主流大模型，具体的模型列表，可以从 官网 查找（类比大模型的 dockerhub），不要使用过大参数的模型，本地开发视内存而定，建议 32b 以下，本地 7b 左右比较合适，后续更大参数的模型，一般通过平台提供的 API 使用。 DeepseekR1-7b：ollama pull deepseek-r1:7b Qwen2-7b：ollama pull qwen2:7b 之后执行 ollama run qwen3:8b 即可运行大模型，直接提问即可。 其他的一些常用命令如下，其他像 create 创建大模型文件超出我们范围： ollama list # 显示本地大模型 ollama ps # 显示运行的大模型 ollama rm xxx # 删除本地的大模型 整体而言，本地部署还是非常简单的，有一点开发经验就可以快速上手。 ...