ASR模型本地部署与服务调用教程

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

# 加载本地模型，可选用 VAD 切分长音频
model = AutoModel(
    model="C:/models/SenseVoiceSmall",
    device="cuda",                     # 无 GPU 时改为 "cpu"
    vad_model="fsmn-vad",              # VAD 用于长音频切分
    vad_kwargs={"max_single_segment_time": 30000},
)

res = model.generate(
    input="audio.mp3",                 # 任意格式音频
    cache={},
    language="auto",                   # auto / zh / en / yue / ja / ko
    use_itn=True,                      # 是否包含标点与逆文本正则化
    batch_size_s=60,                   # 动态 batch 总音频时长（秒）
    merge_vad=True,                    # 合并 VAD 切分的短音频
    merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)

# 创建并激活 conda 环境
conda create -n voice2text python=3.10 -y
conda activate voice2text

# 安装 lzma 运行库（conda 的 Python 可能缺少 _lzma 模块，避免后续报错）
conda install -c conda-forge liblzma -y

# 安装 uv（Python 包管理工具）
pip install uv

# 方法一：阿里云镜像直链（国内推荐）
uv pip install \
  "https://mirrors.aliyun.com/pytorch-wheels/cu128/torch-2.8.0%2Bcu128-cp310-cp310-win_amd64.whl" \
  "https://mirrors.aliyun.com/pytorch-wheels/cu128/torchvision-0.23.0%2Bcu128-cp310-cp310-win_amd64.whl" \
  "https://mirrors.aliyun.com/pytorch-wheels/cu128/torchaudio-2.8.0%2Bcu128-cp310-cp310-win_amd64.whl"

# 方法二：PyTorch 官方源
uv pip install torch==2.8.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

# 安装 funasr 与服务依赖（含 fastapi、uvicorn、soundfile 等）
cd voice2text
uv pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 使用 ModelScope 下载（推荐国内用户）
modelscope download --model iic/SenseVoiceSmall --local_dir C:/models/SenseVoiceSmall

voice2text/
├── config.py                  # 服务配置（端口、模型路径、设备）
├── main.py                    # FastAPI 后端，识别接口
├── asr_service.py             # ASR 识别服务（FunASR 封装）
├── requirements.txt           # 依赖管理
├── static/
│   └── index.html             # 前端页面（上传 + 录音）
└── README.md                  # 项目说明

# config.py（核心片段，完整代码请查看 voice2text/config.py）
PORT = 8000

# SenseVoiceSmall 模型目录（需包含 config.yaml 与 model.pt 等文件）
ASR_MODEL_DIR = "C:/models/SenseVoiceSmall"

# 推理设备：cuda / cpu
ASR_DEVICE = "cuda"

# 识别语言：auto / zh / en / yue / ja / ko
ASR_LANGUAGE = "auto"

# 是否启用 VAD 长音频切分（首次使用会联网下载 fsmn-vad 模型）
ASR_USE_VAD = True

# 输出是否包含标点与逆文本正则化
ASR_USE_ITN = True

# asr_service.py（核心片段，完整代码请查看 voice2text/asr_service.py）
def _get_model():
    """懒加载 FunASR 模型（首次调用时加载）"""
    global _model
    if _model is None:
        from funasr import AutoModel
        kwargs = {"model": ASR_MODEL_DIR, "device": ASR_DEVICE}
        if ASR_USE_VAD:
            kwargs["vad_model"] = "fsmn-vad"
            kwargs["vad_kwargs"] = {"max_single_segment_time": 30000}
        _model = AutoModel(**kwargs)
    return _model

def transcribe(audio_path, language=None):
    """将音频文件识别为文字，返回去除富文本标签的转写结果"""
    model = _get_model()
    with _recog_lock:                    # 串行化识别请求
        res = model.generate(
            input=audio_path, cache={},
            language=language or ASR_LANGUAGE,
            use_itn=ASR_USE_ITN,
            batch_size_s=60, merge_vad=True, merge_length_s=15,
        )
    return rich_transcription_postprocess(res[0]["text"])

# main.py（核心片段，完整代码请查看 voice2text/main.py）
@app.post("/api/transcribe")
async def transcribe(file: UploadFile = File(...)):
    """自定义识别接口：上传音频文件，返回识别文字"""
    audio_path = _save_audio(file)               # 保存为临时文件
    try:
        text = asr_service.transcribe(audio_path)
    finally:
        os.unlink(audio_path)                    # 识别后清理临时文件
    return {"text": text}

@app.post("/v1/audio/transcriptions")
async def transcriptions(
    file: UploadFile = File(...),
    model: str = Form("SenseVoiceSmall"),
    language: str = Form("auto"),
):
    """OpenAI 兼容的语音识别接口"""
    audio_path = _save_audio(file)
    try:
        text = asr_service.transcribe(audio_path, language=language or None)
    finally:
        os.unlink(audio_path)
    return {"text": text}                        # OpenAI 兼容返回格式

conda activate voice2text
cd voice2text

# 安装服务依赖（若第 3 章已安装可跳过）
uv pip install -r requirements.txt --index-url https://pypi.tuna.tsinghua.edu.cn/simple

python main.py

curl.exe -X POST http://localhost:8000/api/transcribe -F "file=@C:/path/to/audio.wav"

# 使用 openai SDK 调用本地 voice2text 服务
from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",  # 本地服务地址
    api_key="not-needed",                 # 本地服务不校验 Key
)

with open("audio.wav", "rb") as f:
    result = client.audio.transcriptions.create(
        model="SenseVoiceSmall",
        file=f,
        language="auto",
    )
print(result.text)