模型部署与调用

从 vLLM 多卡部署大语言模型到主流服务商 API 调用,带你一步步把大模型真正跑起来、用起来

大语言模型LLM服务商Api服务调用教程

本文将详细介绍如何获取主流大语言模型(LLM)服务商的 Api 服务,包括 DeepSeek、智谱 GLM 等平台接入流程,以及如何在 Cherry Studio 等第三方应用中配置和使用这些 Api 服务。

2026-07-22 352 次阅读

Ollama本地部署大语言模型完整教程

Ollama 是一款开源的本地部署大语言模型工具,它允许用户在无需依赖云端服务和算力的情况下,本地部署大语言模型。Ollama 使用 GGUF 存储格式的大语言模型,让用户在消费级硬件设备上部署大模型成为可能。本节教程将详细介绍如何在 Windows 环境下安装 Ollama 并部署 Qwen3 系

2026-07-22 108 次阅读

LM Studio本地部署大语言模型完整教程

LM Studio是一个用于本地部署大语言模型的工具,在Windows环境下,LM Studio对AMD等非NVIDIA系列显卡的支持性更好,本文将详细介绍如何在Windows环境下安装LM Studio及本地部署大语言模型,并将其作为服务供外部应用调用。

2026-07-28 86 次阅读

PyTorch安装与版本选择问题详解

PyTorch是Meta AI(Facebook)开发的开源机器学习框架,基于Torch库,用于计算机视觉和自然语言处理等应用。正确选择PyTorch版本与CUDA版本的兼容性是深度学习环境配置中的关键环节,直接影响GPU加速性能和模型训练效率。

2026-08-02 91 次阅读

vLLM的安装与多卡部署大语言模型完整教程

vLLM是一个专为大规模语言模型设计的高性能推理库,由加州大学伯克利分校的研究团队开发。它通过PagedAttention、连续批处理和优化的CUDA内核等技术,显著提升了大语言模型的推理性能和内存运用效率,特别适合生产环境中的模型服务部署。

2026-07-22 107 次阅读

OpenAI兼容API的概念与用法详解

本教程全面解析OpenAI兼容API的技术原理和实际应用,详细介绍对话接口、文本向量化、语音处理等核心功能。通过系统化的API调用指南和实战案例,帮助开发者高效灵活地构建多模态AI应用。

2026-07-27 76 次阅读