全管线训练 SyncNet 唇音判别器 端到端微调

EchoHead-Train 全管线模型训练 套件

专为个性化数字人微调打造的完整训练工坊。内嵌从视频关键点切分、SyncNet 唇形一致性判别器到 256×256 生成器网络的全流程训练代码与预训练权重。

训练管线技术组成

与普通推理整合包不同,EchoHead-Train 提供了完整的算法可塑性支持,开发者可基于自己的专属主播视频训练超高精准度的唇形跟随模型:

📂 自动化数据集管线

集成 echohead/dataset.py,支持输入任意高清视频,自动进行抽帧、关键点提取、人脸对齐裁剪与梅尔频谱对齐生成。

🎯 SyncNet 唇音判别器

自带预训练唇音同步判别网络权重(syncnet_lipsync.pth),提供余弦相似度与对比损失监督,杜绝嘴瓢。

🧠 256×256 高清生成网络

结合 L1 重建损失、感知损失 (Perceptual Loss) 与判别器对抗损失,兼顾微表情细节与牙齿纹理逼真度。

🔄 一键导出 TensorRT 引擎

训练产出的 PyTorch 检查点(.pth)可一键导出为 ONNX,并自动构建成推理端高性能 TensorRT FP16 Plan 文件。

训练环境与脚本执行

内置自动化执行批处理,包含完整的显存优化与断点续训能力:

# 1. 自动化数据预处理与面部特征提取 python echohead/dataset.py --video_dir data/raw_videos --output_dir data/processed # 2. 启动生成器模型训练 (支持 FP16 混合精度加速) python scripts/train_generator.py --config configs/train_256.yaml --batch_size 16 # 3. 导出并构建 TensorRT 生产部署引擎 python tools/build_trt_engine.py --weights checkpoints/best_model.pth --fp16