网站介绍 · AI 导航
Ollama 是一个在本机运行开源大模型的工具，安装后通过命令行拉取模型、启动服务，并提供与 OpenAI 兼容的接口，方便现有程序切换。
它解决的是“数据不能出门”的问题：院内病历摘要、未公开的专利文本、企业内部资料，都可以在本地处理。代价是需要足够的显存与内存，模型能力也弱于云端旗舰模型。
- 资源类型
- AI 模型与基础设施
- 适合人群
- 科研 · 教育 · 产业
- 主要领域
- 本地部署 · 模型运行 · 私有化
- 访问方式
- 开源免费；本地运行依赖显存与内存
01硬件与模型选择
先看显存：7B 级模型通常需要 8GB 以上显存，70B 级需要多卡或量化版本。量化能降低显存占用，但会损失部分精度。建议用真实任务对比量化前后的输出差异，再决定是否接受。
02部署与集成
本机运行时，其他程序通过本地接口调用；团队使用时可以部署在内网服务器，统一管理模型版本与访问权限。注意默认配置可能监听所有网卡，应改为仅本地访问并加认证。
03适用边界
本地模型适合做分类、抽取、摘要等结构化任务，不适合承担需要广博知识的问答。涉及专业结论时，仍要配合检索增强与人工复核。
