模型部署与调用
从 vLLM 多卡部署大语言模型到主流服务商 API 调用,带你一步步把大模型真正跑起来、用起来
llama.cpp本地部署Qwen3.8大语言模型完整教程
llama.cpp 是一款基于 C/C++ 编写的开源大语言模型推理引擎,配合 GGUF 格式的量化模型,可以在消费级显卡上高效运行大语言模型。本教程使用已开源的 a4agent 完成部署(v0.4.0 及以上,安装包约 20 MB),它是一款四端 AI 编程工具管理台,其中内置的「本地模型」页签是
本地模型在局域网下被其他设备访问的配置教程
本地部署大语言模型的价值不止于"自己这一台机器能用"。把部署在 GPU 主机上的模型服务开放到局域网后,家里的笔记本、平板、手机,或者办公室里没有显卡的同事电脑,都能共享同一份模型与同一块显卡,避免每个人都重复下载几十 GB 的模型文件。本教程是《llama.cpp本地部署Qwen3.8大语言模型完
Strata部署Qwen3.8-Flash-Next 125B大模型本地推理与调优教程
Strata 是一款专为大 MoE(混合专家)模型打造的开源本地推理引擎,能让一台配备 12-24GB 显存的消费级游戏电脑跑起 1250 亿参数的 Qwen3.8-Flash-Next,并以 OpenAI 与 Anthropic 双协议对外提供本地 API。本教程完整记录从硬件自检、环境准备、模型
模型评测方法实战:用 Qoder 构建五个门类的评测基准评测阿里匿名模型 Qoduck
本教程面向需要评估 Agent 产品中模型表现的开发者与评测人员,以阿里 Qoder 国际版匿名模型 Qoduck 为被测对象,以 Qoder 桌面端为统一 Agent 工具,给出一套可复现的五个门类的评测方法。内容覆盖 100 题标准集(80 核心 + 20 压力)与 20 题校准集的设计分工、E
EmbeddingGemma 2 多模态嵌入模型本地部署与应用教程
EmbeddingGemma 2 是 Google DeepMind 于 2026 年 10 月发布的开源多模态嵌入模型,能把文本、图像、视频、音频统一编码到同一个 768 维向量空间,参数量仅 740M,消费级显卡即可流畅运行。本教程从零开始,在 Windows 环境下完成该模型的本地部署,跑通文
DeepSeek开源推理框架DeepInfer技术解读教程
2026 年 10 月 20 日,DeepSeek 宣布将支撑其线上服务的内部推理框架 DeepInfer 全面开源,并同步开放 Token 编解码组件 deepseek-recipe。本教程面向已经动手部署过大语言模型的读者,逐层拆解 DeepInfer 的集群架构与核心技术(Prefill/De