2026 年 11 月 7 日——SIGGRAPH 2026 会议论文 See-through(Single-image Layer Decomposition for Anime Characters)已开源推理与训练全流程:输入单张动漫角色插画,自动识别语义部位与前后遮挡关系、对被遮挡区域生成补全,按绘制顺序导出分层 PSD 文件,最多拆出 23 个语义图层。代码采用 Apache-2.0 许可,截至 2026 年 11 月 7 日 GitHub 星标 5482、fork 476。论文由香港圣方济各大学团队主导,联合宾夕法尼亚大学、Spellbrush 等机构完成。
从单张插画到分层 PSD 的处理链路
官方 README 显示,主推理脚本 inference_psd.py 串联三个模型完成端到端分解:LayerDiff 3D 负责透明图层生成(SDXL 架构,基于 Animagine XL 4.0 与 LayerDiffuse 微调),Marigold 动漫微调版负责伪深度推断,SAM-HQ 微调版负责头发、脸、眼、服装、配饰等语义体部分割,三者输出按绘制顺序堆叠为分层 PSD,同时导出中间深度图与分割掩码。论文口径为 19 个语义身体部位类别,每个部位可再按前后关系细分;仓库当前 V3 模型按 23 个身体部位标签训练,官方称可拆出最多 23 层。
训练数据来自一套自动化数据引擎:团队从商业 Live2D 模型中提取每个网格的精确可见性掩码与确定性绘制顺序,生成像素级监督信号。论文披露共整理出 9102 个完整标注的 2.5D Live2D 模型(训练 7404、验证 851、测试 847),全部训练在 8 张 NVIDIA H200 上完成。
项目时间线为:2026 年 2 月 3 日提交 arXiv 预印本(编号 2602.03749,23 页);3 月 31 日开源仓库创建;4 月 14 日发布 V3 模型并放出全部训练脚本;7 月 20 日被 ACM SIGGRAPH 2026 Conference Papers 正式收录(DOI 10.1145/3799902.3811209)。
本地部署的显存门槛
本地部署基于 PyTorch,官方环境为 conda Python 3.12 加 torch 2.8.0(CUDA 12.8 轮子),AMD 显卡另有 ROCm 安装说明。官方 README 给出的显存参考以 1280 分辨率为口径:
| 部署方案 | 1280 分辨率峰值显存 | 说明 |
|---|---|---|
| 默认管线(bf16) | 约 12-16 GB | 完整精度 |
| group offload | 约 10 GB | 权重分组卸载,速度约慢 1.5 倍 |
| NF4 量化管线 | 约 8 GB | 4-bit 权重,质量对 bf16 基线 PSNR 约 30 dB、SSIM 约 0.96 |
| block swap 管线(bf16) | 约 8 GB | 逐块交换,保持完整精度 |
量化模型托管在 HuggingFace,首次运行自动下载。不想本机部署的用户可用官方在线演示:HuggingFace Space(ZeroGPU)注册用户每天约可运行 1-2 次 PSD 提取,单次约 2-3 分钟;面向中国大陆用户的 ModelScope 魔搭演示目前免费,支持略高分辨率。官方同时声明该项目未开设任何付费服务,遇收费网站均与其无关。
许可口径与社区生态
官方在 2026 年 9 月 28 日的仓库讨论中逐项澄清了许可:代码为 Apache-2.0;权重各自继承上游模型许可——LayerDiff 3D(含 NF4 版)基于 Animagine XL 4.0 与 LayerDiffuse,继承 Open RAIL;深度模型基于 Marigold v1.1,继承 Open RAIL++-M;体部分割模型基于 SAM-HQ,保持 Apache-2.0。官方表示三条线均可商用,其中两条 Open RAIL 权重在对外提供服务时,需在服务条款中附带对应许可的使用限制条款。
社区已出现多个基于其 PSD 输出的下游工具,官方 README 收录了五个:ComfyUI 节点封装 ComfyUI-See-through(星标 912,支持浏览器内导出 PSD)、眨眼与口型素材生成器 PachiPakuGen、浏览器内木偶动画工具 StretchyStudio(星标 525)、浏览器内 2.5D 头像工具 Anime2.5DRig(星标 411),以及 Windows 本地一键整合包 PNGAL。
官方在「是否等于 Image-to-Live2D」的讨论中明确表示还不是:绑定(rigging)、变形网格与物理参数不在本项目范围内,自动分层也未必符合 Live2D 艺术家的拆层习惯。论文承认的局限包括:尖锐发梢、小配饰等细小高频细节需对照原图人工判断,深度引导的细分层可能不稳定,上下装语义边界偶有混淆,高密度排线画风下最细笔画会被削弱。这类修复仍需回到普通图层编辑器中人工完成。
评论