Tora – 阿里推出的视频生成框架 Tora是什么?Tora是阿里推出的一个基于Diffusion Transformer(DiT)的视频生成框架,它代表了一种创新的轨迹导向型视频内容生成技术。Tora是首个集成文本、视觉和轨迹条件同时进行视频生成的系统,能够确保生成的视频内容精确地遵循指定的动态轨迹,同时真实地模拟物理世界的运动。主要特点:轨迹导向:Tora特别强调对视频内容中运动轨迹的控制,能够根据预设的轨迹生成视频。多条件集成:框架能够同时处理文本描述、视觉内容和运动轨迹,实现多维度的视频生成。高保真度:Tora在模拟物理世界的运动方面表现出色,生成的视频具有高运动保真度。可扩展性:设计上与DiT的可扩展性相匹配,支持不同时长、宽高比和分辨率的视频内容控制。主要功能:轨迹提取:Tora使用轨迹提取器(Trajectory Extractor, TE)将任意轨迹编码为分层的时间空间运动块。动态融合:通过运动引导融合器(Motion-guidance Fuser, MGF)将运动块整合到DiT块中,确保视频生成与轨迹一致。高分辨率视频生成:支持生成高分辨率、具有控制运动的视频,且视频时长可以延长。3D运动VAE:使用3D运动变分自编码器(VAE)嵌入轨迹向量,保留连续帧之间的运动信息。使用示例:假设你想要生成一段描述“两只海鸥在充满活力的海底世界中优雅地飞翔”的视频。使用Tora,你可以:提供文本描述作为输入。设定期望的运动轨迹,比如海鸥的飞行路径。利用Tora的轨迹提取和动态融合功能,生成符合描述和轨迹的视频。视频将展示海鸥在海底世界中飞翔的场景,具有逼真的运动和海底环境的细节。总结:Tora是一个强大的视频生成工具,它通过集成多种条件来创造高质量的视频内容。其主要优势在于对运动轨迹的精确控制和对物理世界运动的真实模拟,这使得Tora在视频内容创作领域具有广泛的应用潜力。无论是艺术创作、电影制作还是虚拟现实体验,Tora都提供了一种新颖的、富有表现力的视频生成解决方案。
Wonder Dynamics – 将 CG 角色动画、照明和合成为真人场景 Wonder Dynamics是什么?Wonder Dynamics提供了一个名为Wonder Studio的AI工具,这是一个在线VFX工作室,能够自动为CG角色进行动画制作、照明和合成到实景场景中。它旨在简化视觉效果(VFX)的制作过程,无需信用卡即可开始使用。主要特点:AI自动化:自动动画化、照明和合成CG角色。无需复杂的3D软件:简化了传统3D软件的使用。无需昂贵的硬件:艺术家只需要一个相机即可开始工作。主要功能:自动检测和跟踪:上传CG角色模型,系统自动检测剪辑并跟踪演员。自动化VFX工作:自动检测演员表演并转移到CG角色,包括动画、照明和合成。适应现有流程:AI自动化80%-90%的“客观”VFX工作,艺术家可以专注于“主观”工作。导出个别元素:支持导出动作捕捉、角色通道、Alpha遮罩、清洁板、摄像机轨迹、Blender文件和最终渲染等。使用示例:访问Wonder Dynamics网站并注册使用Wonder Studio。上传CG角色模型到系统中。使用AI工具自动将演员的表演转移到CG角色。自定义角色动画、照明和合成效果。导出最终的VFX作品并集成到实景拍摄中。总结:Wonder Dynamics的Wonder Studio是一个创新的AI工具,它通过自动化大部分VFX工作,极大地简化了视觉效果的创作过程。无论是创建科幻世界还是给实景拍摄增添个性化风格,Wonder Studio都提供了强大的支持。