模型部署与调用
从 vLLM 多卡部署大语言模型到主流服务商 API 调用,带你一步步把大模型真正跑起来、用起来
大语言模型LLM服务商Api服务调用教程
本文将详细介绍如何获取主流大语言模型(LLM)服务商的 Api 服务,包括 DeepSeek、智谱 GLM 等平台接入流程,以及如何在 Cherry Studio 等第三方应用中配置和使用这些 Api 服务。
Ollama本地部署大语言模型完整教程
Ollama 是一款开源的本地部署大语言模型工具,它允许用户在无需依赖云端服务和算力的情况下,本地部署大语言模型。Ollama 使用 GGUF 存储格式的大语言模型,让用户在消费级硬件设备上部署大模型成为可能。本节教程将详细介绍如何在 Windows 环境下安装 Ollama 并部署 Qwen3 系
LM Studio本地部署大语言模型完整教程
LM Studio是一个用于本地部署大语言模型的工具,在Windows环境下,LM Studio对AMD等非NVIDIA系列显卡的支持性更好,本文将详细介绍如何在Windows环境下安装LM Studio及本地部署大语言模型,并将其作为服务供外部应用调用。
PyTorch安装与版本选择问题详解
PyTorch是Meta AI(Facebook)开发的开源机器学习框架,基于Torch库,用于计算机视觉和自然语言处理等应用。正确选择PyTorch版本与CUDA版本的兼容性是深度学习环境配置中的关键环节,直接影响GPU加速性能和模型训练效率。
vLLM的安装与多卡部署大语言模型完整教程
vLLM是一个专为大规模语言模型设计的高性能推理库,由加州大学伯克利分校的研究团队开发。它通过PagedAttention、连续批处理和优化的CUDA内核等技术,显著提升了大语言模型的推理性能和内存运用效率,特别适合生产环境中的模型服务部署。
OpenAI兼容API的概念与用法详解
本教程全面解析OpenAI兼容API的技术原理和实际应用,详细介绍对话接口、文本向量化、语音处理等核心功能。通过系统化的API调用指南和实战案例,帮助开发者高效灵活地构建多模态AI应用。