本地大模型部署指南：Qwen3-32B 跑在家用电脑

硬件要求

• Mac: M2 Max 64GB 起，能跑 32B（4bit 量化）
• Windows/Linux: RTX 4090 24GB 可跑 14B，48GB 显卡跑 32B

工具：Ollama

最简单的本地 LLM 工具，一个命令搞定：

# macOS
brew install ollama
ollama pull qwen3:32b
ollama run qwen3:32b

性能参考

• M3 Max 64GB：32B 4bit，约 15 tokens/s
• RTX 4090：14B 4bit，约 30 tokens/s

优势

• 完全离线
• 无审查限制
• 零边际成本
• 隐私安全

适合场景

• 写作辅助
• 代码补全
• 本地知识库 RAG
• 不适合：实时联网、长文档处理