“I”:视频输入。GPT-4V对视频的理解还相当原始，因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系，但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
**划重点:**HandRefiner的工作原理包括手部识别与重建以及条件修补两个过程。首先，它识别出生成图像中形状不正常的手部，并使用手部网格重建模型重建出一个正确的手部形状和手势。即使在畸形的手部图像中，HandRefiner也能够生成合理的重建结果，这得益于模型基于正常手部的训练数据。
针对成果发布问题，《指引》强调，公布突破性研究成果和重大研究进展应经所在科研单位同意。未经科学验证或同行评议的研究成果，科研人员不得向公众传播;不得将已发表的论文或其中的数据、图片等再次发表，不得将多篇已发表论文各取一部分拼凑出“新成果”后发表。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。