近期,生成式人工智能(AIGC)领域又涌现出多款创意十足的新应用。
今天,钛媒体AGI梳理了免费 AI “神器”系列第十三弹,共五款,其中不少产品再一次拓宽了我们对AI的想象力。
会20种语言的克隆数字人——Digen
能模仿人类表情的人形机器人——EMO
Domo AI 新功能上线:能让静态人像动起来
吊打Midjourney的AI文生图工具——Ideogram
文生图框架——LaVi-Bridge
1、会20种语言的克隆数字人——Digen AI
产品信息:Digen是由Digen AI研发的全新克隆数字人工具产品,称是利用生成式 AI 技术创建面向未来的视频,支持多达20种语言、40+种声音,手势、口型和语调全部同步一致,视频效果比较逼真。
产品功能:用户可通过官网申请内测,使用时免费进行个性化头像生成,大约需要5-7天时间,随后可以进行视频编辑和生成等操作,最终可以实现数字人视频状态,声称为Digen in Real Motion 1.0。
目前,Digen包括免费版、创作者版、专业版三个版本,后两者每月计费分别为9.9 美元、19.9美元,如果按年订阅价格会更低一些。公司称,免费计划的订阅者不受任何时间限制,但每月只能制作总长度为2分钟的视频,视频数量没有限制。
有分析称,Digen是Sora、Heygen、PIKA、Runway等产品的强有力竞品之一。
用户可通过https://digen.ai填写信息申请内测资格。
2、能模仿人类表情的机器人——EMO
产品信息:哥伦比亚大学创新机器实验室近日推出一款可以预测人的表情,并能与人类同步做出表情的人脸机器人。这款机器人采用自我监督学习框架,运作原理类似于人类通过照镜子来练习面部表情。
产品功能:EMO可以在人类微笑前839毫秒预测即将到来的微笑,并通过模型与人类同时表达微笑。此外,Emo还可以预测悲伤、愤怒和惊讶等表情,还能与人类进行眼神互动,但目前还不能做出人类的所有表情。
据了解,Emo的眼睛里装有摄像头,硅胶皮肤下有26个电机,类似于人类面部的肌肉,可以为机器人的面部表情提供动力。另外,该机器人使用两个神经网络,一个用来观察人脸并预测表情,另一个研究如何在机器人脸上产生表情。第一个神经网络通过视频网站上的视频进行训练,第二个神经网络让机器人通过实时摄像机观看自己做的表情来训练。
团队研究人员表示,未来,他们还将拓宽机器人的表情范围,希望EMO能对人所说的话做出反应,而不是简单模仿人类。此外,研究人员正利用大模型将语言交流整合到Emo中,让Emo能够回答问题和对话。
3、Domo AI 新功能上线:能让静态人像动起来
产品信息:Domo AI是映刻科技推出的一款将照片和视频动漫化的AI工具,该工具可以将用户上传的图片和视频转绘为动漫风格,经过不断迭代更新,Domo AI近日推出了图像生成视频新功能。
产品功能:Domo AI的新功能结合了深度学习和计算机视觉算法的前沿技术,通过智能识别和分析静态照片中的人物特征,再与动态视频中的运动数据进行精准匹配。在强大的算法驱动下,Domo AI能够巧妙地将照片中的人物“移植”到视频中,实现静态到动态的完美转变。
例如,用户可以上传一张静态照片和一个参考的动态视频,Domo AI便能够巧妙地将静态照片中的人物替换成动态视频中的人物,实现惊人的视觉转换。
Domo AI功能强大,适用于多种场景和应用。不仅可用于社交媒体上分享生动有趣的动态照片,还可以为电影、游戏或广告制作添加特效,为用户提供无限的创意空间。
目前,Domo AI新功能已经在Discord频道上正式上线,用户只需在频道内使用/move命令,即可轻松体验将静态照片变为动态视频的神奇过程。
官方网址:https://domoai.app/
体验地址:https://discord.gg/domoai
4、吊打Midjourney、DALL·E 3的AI文生图工具——Ideogram
产品信息:Ideogram是一款超强文字生成图像工具,旨在生成包含可以清晰阅读文本的图像。该模型由谷歌前员工组成的创业团队打造,团队成员曾参与开发谷歌的 Imagen 图像生成软件和视频生成模型。
产品功能:Ideogram的主要功能为文生图功能,但与其他图像生成模型不同的是,Ideogram擅长生成包含文本的图片,用户只需输入提示词,Ideogram就可以按照要求将文字融入生成的图片中,实现平面、悬浮甚至立体文字效果。比如生成电影、产品海报、T恤印花等图像,解决了生图AI在图像文字生成上的痛点。
近期上线的Ideogram 1.0版本在正确显示文本方面有了显著提升,生成的图像也更加逼真,可以对复杂提示词进行精确响应。Ideogram 表示,参与测试的评估者对于 Ideogram 1.0 在提示对齐、图像连贯性、整体偏好和文本渲染质量方面的偏好超越了 DALL·E 3 和 Midjourney V6。
同时 Ideogram 1.0 还引入了 一个名为“魔法提示”的新功能,该功能可以根据用户的原始描述,编写更详细的提示词,进而创造出更美观且具创意的图像。
此外,Ideogram 1.0版本还能理解冗长、复杂的提示词,生成清晰、逼真的图像,包括动物、奇怪组合的呈现,以及照片级逼真的人物表情和手部动作。
付费方面,用户每天能免费使用25个提示词,生成100张图。8美元月付费用户每天可以生成100个提示词,400张图。20美元月付费用户可以无限使用。
体验地址:https://ideogram.ai/t/explore
5、文生图框架——LaVi-Bridge
产品信息:LaVi-Bridge是一个无需训练将不同的语言模型和生成视觉模型结合起来,以实现文本到图像的生成的技术框架,该框架由香港大学、香港中文大学和香港科技大学的研究团队共同开发。
产品功能:通过使用LoRA(Low-rank Adaptation)和适配器,LaVi-Bridge提供了一种灵活且即插即用的方法,无需修改原始模型的权重。这个框架兼容多种语言模型和生成视觉模型,能够适应不同的结构。
在这一框架内,团队证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力,经过大量评估验证了LaVi-Bridge模型的有效性。
项目地址:https://shihaozhaozsh.github.io/LaVi-Bridge/
(本文首发于钛媒体APP,作者|章橙,编辑|林志佳)
根据《网络安全法》实名制要求,请绑定手机号后发表评论