腾讯推出的M2UGen是一款多模态音乐生成框架,结合音乐和多模态任务,支持从文字、图像、视频生成音乐,并具备强大的编辑功能。
项目地址:https://docs.google.com/document/d/1irisz6f1G4oYaKojqwuU9rSDBV1-VaCh0VkeuIX0sfs/edit?pli=1
图源:微博用户“纽太普同学”
然后,HandRefiner采用条件修补方法来处理识别出的问题手部。它生成一个深度图,其中包含了关于手部形状和位置的重要信息。这个深度图被用作指导,通过ControlNet集成到扩散模型中。最后,HandRefiner将重新画好的手部放回原来的画作中,替换掉原本画错的手,而其他部分保持不动,保持了原画的风格和内容。
BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型,具备更好的性能和商用能力。BakLLaVA在多个基准测试中优于LLaVA213B,并且可以在某些数据上进行微调和推理。虽然BakLLaVA在训练过程中使用了LLaVA的语料库,不允许商用,但BakLLaVA2则采用了更大的数据集和更新的架构,超越了当前的LLaVA方法,具备商用能力。