在钛媒体Pro专业用户和付费用户专享的“钛坦白”在线课堂第31期，我们请来了三位钛客，给大家讲讲视频的新玩法。本期钛客之一、Video++联合创始人、COO董慧智，曾担任海知信息COO，曾创立影视投资公司嘉田文化，投资制作的户外综艺节目《两天一夜》获得广电总局评选的省级卫视最具创新影响力栏目十强。Video++是视频多维互动＋内容识别PAAS平台，在芒果、乐视网、爱奇艺、熊猫TV、战旗TV等等被使用。

本文节选自董慧智在钛坦白的分享。如果您还不是钛媒体Pro用户，希望查看钛坦白所有干货，进入钛坦白九个专业群交流，并查看更丰富的专业数据和信息，可点击：https://www.tmtpost.com/pro 注册。

以下根据董慧智在钛坦白的分享实录整理：

人工智能最近很热，大概从2015年或者说是2014年开始深度学习在各个领域就得到了突破性的进展，不只应用在视频领域，其他领域比如说安防、金融也在用。我们专注于消费级人工智能。

今天在钛坦白要和大家分享的内容大致是，以深度学习为基础的人工智能技术，与消费级视频的结合，以及在场景创建的过程中的主要作用。

视频应用场景创建的三要素

可能大家比较熟悉的视频都是以看为主的，但实际上视频除了可以进行观看之外，也具有它自己的内涵，很多的内容都可以进行二次使用。这种基于视频内容的二次功能性应用，就叫应用场景的创建。比如在视频中，有很多公司开始做一些与视频内容相关的购物信息推荐，与视频内容相关的投票，与视频内容相关的小游戏等等等等，这都属于把视频的价值进行二次挖掘，所形成的应用场景。

创建一个很好的应用场景，有三个要素，我们称之为视频应用场景创建的三要素：

• 视频内容结构化

我们首先要让电脑理解这个视频在讲什么故事，这个视频中都有哪些内容，把视频内容从一个黑盒子里拿出来，变成结构化的、可检索的数据库内容。

• 体验美学

这说的是怎样去创建一个很棒的用户体验。在基于对视频内容进行深度理解之后，其实视频内容本身是可以标签化的，比如这个视频有什么样的明星，他在讲什么样的故事，这个视频中出现过哪些关键的道具，哪些关键的物品，以及这个视频中的场景出现在哪些重要的场合之中，是悲剧还是喜剧，这些元素我们对它进行结构化以后，每一个不同的场景都会有它最适合的体验。所以一整套的基于用户体验美学为核心的前端应用或者互动应用，是做好一个视频应用场景很重要的一个系统。

这个系统要求：第一，要与视频内容无缝贴合；第二，要能根据视频内容以及视频所承载的平台，以及当前场景，做出相应的UI功能方面不同的定制。甚至于，通过主题模板配套可以快速的创建很多贴合内容的应用，那么这套系统，对于做好一个应用场景非常重要。

• 大数据

如果每个人看到的视频互动内容都是一样的，肯定是不能满足要求的。我们会根据大数据匹配，也就是把内容标签、广告电商、应用或者是教育类的一些信息标签，与我的用户标签也就是用户画像进行匹配，这样才能达到最佳的效果。

比如说芒果TV要在《爸爸去哪儿》节目中针对北方、南方不同的人群推送不同的饮料，北方人推的是啤酒，南方人推的可能是RIO。这种基于品牌，基于用户的推送就有赖于大数据的能力，也就是说，我们通过大数据来动态化的调整前端用户所看到的互动内容，甚至于不同的用户看到的比如说投票的选项，收集卡牌每一张卡牌的内容都有所不同，这样才能够达到这种应用场景创建的目的，更精准化或者说更加高效的实现。

创建一个完美的视频应用场景，需要几个方面的通力合作。第一个是像我们这样的一个PaaS平台或者技术提供方，也有赖于视频平台提供它的整个内容，以及相应的播放的平台。但是，每一个视频应用场景一般来说都服务于广告商、教育的提供方，或者是电商，那么这就需要形成一个由各方参与的利益格局，我们这边构成以AI为核心的商业模式，把各方都包含进来。

怎样把视频内容结构化？

在消费级视频中的应用中，人工智能这一块到底在做些什么事？能产生什么样的数据？怎么把视频结构化的？

我们下面所说的视频指的就是消费级视频，以分发观看为主要目的的视频，以大家所熟悉的影视剧、综艺、直播、短视频的为主。

针对这样的视频，比如说面对一个电视剧，我们要打广告的时候，特别希望知道这个电视剧到底在讲什么，里面到底有些什么内容，现在大家能够做的就是去看标题、看简介，或者把视频从头到尾看一遍。我们现在所谓的视频结构化，就是代替人去做这个工作，就是我把视频里面到底都讲了些什么，里面有些什么人，什么商品，什么场景，都能识别出来以后形成一个大的数据库。以这个数据库为基础，对它进行各种各样的分析，以及各种各样不同的应用。

视频中的人工智能其实分析下来应该是两大类：第一大类叫做识别，第二大类叫视频对象追踪。

• 识别

识别也就是大家说的结构化、标签化，所做的事情就是告诉你，视频里有谁，有什么，哪些场景。这块其实又分成四个大的品类：

第一块是人像识别，我可以知道这个剧里面都有哪些明星，每个人出现的次数、位置，哪两个人曾经在一起出现过，所谓的两个明星同框，这是我们可以通过AI来进行识别，并且推送的。

第二块是场景识别，场景又分为两大类：一大类叫场所，就是当前这个画面，或者当前这个故事发生在一个酒店里面，发生在客房里面，发生在客厅，发生在厨房，发生在海边，发生在卧室，各种各样的场所都有可能。另外一种，是场所里加上人的活动，我们称之为场景，比如说在饭店，加上一群人在一起吃饭，推断出他们是在聚餐；或者一个体育场大量观众跳舞，这大概能判断出是演唱会。

场景识别非常重要的一个应用就是在于场景营销，如果是在一个海滩，有剧烈的阳光，这个时候如果我适当的去投一些比如说防晒霜的广告，将会达到一个很好的场景的适配度，从而产生很好的效果。如果识别出有一张床，有一男一女，我们完全可以在里面投放一些杜蕾斯的广告。这也是场景应用非常好的一些投放方式，而且直接利用了视频里面的一些内容，而不需要去重新构建所谓广告所需的环境。

第三块叫物品识别，比如说我识别到车，识别到这里面有酒，有饮料，有手机，那么对应的我将会投放我所需要的广告，可以达到很多非常好的联想的效果。

这些识别将会在场景营销、竞品拦截，或者叫原生广告方面都有非常不错的应用。以上的三部分我们都叫做标签化识别，也就是说通过对一个视频进行扫描，可以告诉你这个里面有什么。

第四种叫相似款商品识别，它不是标签化的，当我识别到这里面有一个商品，并不能告诉你这个商品是什么，而是可以告诉你说，这个商品在淘宝，或者在京东，或者在某个电商里面，有某件商品跟它非常相像。

这四种主要的识别能力，对于视频而言非常关键。我们可以构建出这个视频里都有些什么，我们所需要的信息对象，就可以构建出第一个数据库，这个结构化数据库叫对象库。

• 视频对象追踪

除识别之外，我们还要做一件事情，就是我知道这里面有一个人，但是这个人在哪儿，也是非常需要知道的，我只知道他在哪个时间段出现是不够的，我需要知道他在这个画面中到底在哪个方位。这就引出视频中人工智能算法中的第二个领域——视频对象追踪，就是我们传说中的抠图，当我有一个对象以后，我要追踪他在视频中的轨迹，虽然他不停的运动，不停的形变。

这会涉及到三个部分：第一部分是镜头切换检测，要把一个视频切分成多个镜头，因为跨镜头是没有办法追踪的，镜头已经切走了，追踪将会变得没有意义；第二部分叫对象检测，首先检测到值得追踪的对象，这个当然是跟需求相关；第三部分我们叫位移形变的追踪，我可以通过一个算法，把这个物体到了后面一秒钟再往后面一秒钟整个镜头里跑到哪儿去了，做出一个轨迹流来。

以上就是现在AI技术在视频中最主要的两种应用，一种是识别，一种是对象追踪，下面这张图表达我们怎么样去对一个视频进行识别追踪，数据库是怎样生成的。

下面这个视频表达的是我们怎么样用AI技术，把视频里面的东西提取出来，以及怎么样去指导广告和电商的应用。一开始我们对整个视频进行识别扫描，然后会生成一个我们叫关键词库或者叫Labal库的东西，从Labal列表里，选取以后，就可以看到每一个对象，比如说C罗在这个视频当中每一贞所处的位置，然后针对C罗这样一个对象，可以选择一个广告进行投放，最终达到的效果就是，我可以批量化的把一个平台，比如说芒果TV在应用的时候，就能够将所有的黄晓明都打上某一款运动鞋的广告，这样可以做到快速自动化投放。

视频内容结构化之后能做什么？

我们把这么多的明星识别出来，这么多场景识别出来，到底有什么用？其实在各个平台，比如像芒果TV、搜狐这样的平台，其实已经有非常多的案例了，可能大家看到的时候并不会特别注意到这个东西是用人工智能做出来的。

 下面介绍几种人工智能在视频场景中的一些核心的应用，当然可以应用的场景还有很多，可能几十种上百种，这些都是非常典型的一些。

• 视频场景营销

在搜狐、芒果TV、乐视，爱奇艺等等都有视频场景营销这类应用。广告的形式或者场景的形式其实很简单，就是大家所熟知的中插广告或插播广告，但是与普通的中插广告还是有很大的区别。

一般的中插其实点击率都非常的低，或者大家观看的效果都很差，经过人工智能进行场景选择，我们对视频进行场景扫描以后，找到了这个广告最适合投放的一个场景，从而一下插到最适合的位置上去。在整个视频播放以后，其实在很长一段时间，很多人都会讨论说，这个广告是什么时候插进去的，在不知不觉之中，其实内容和广告已经慢慢的融合在一起。当然并不是说，大家完全看不出来就最好，到广告的最后大家还是可以看到，已经进入一个啤酒的广告了，在这个时候其实已经让大家的心里防备放下来，并且反而觉得这是一种很有创意的广告，接受度非常的高。

• 视频购物

视频购物用到了视频识别的功能，也用到了商品识别和跟踪的功能。比如，当在视频中出现了一个用视频识别已经识别出来的商品，购物车就会发亮，当大家点击购物车或者是直接点击这个商品本身的时候，就会有相应的商品的介绍，可以直接点击进行购买，甚至于直接视频中加入购物车，日后再去购买。这样因为与视频内容本身相关性极高，甚至于说直接是点击视频中的物体进行购买的，所以转化率高了很多。

• 基于特定目标的批量化广告投放

自动化运营的广告投放，结合大数据以后，效果更佳。这里面最常见的一种投放就是基于明星物品目标的批量化的投放，比如说当一个品牌，针对某一明星进行多视频的大量的投放的时候，就可以使用AI技术把相应的投放目标，比如说明星、物品全部扫描出来。不论有50部还是几百部视频，比如每当范冰冰出现，视频中都要求出现角标或者通过其他的方式把广告投放出去。

• 基于视频内容的搜索

现在关于视频的搜索其实基本上都是基于视频标题或者是视频简介，而基于视频内容是没有办法进行搜索的，因为视频内容本身是一个黑盒子。而对视频内容结构化以后，就可以看到视频中有什么明星、什么场景，这个时候就可以进行视频内容的搜索。举例来说，我可以在芒果TV上面搜索所有的范冰冰在奔跑的画面，“范冰冰”“在奔跑”这个就是我们结构化分析中两个最重要的标签，通过对结构化的数据库进行搜索检索就可以找出对应的那个视频及其瞬间。

• 基于结构化视频的大数据

人工智能的一个更重大应用或者是对于社会效应来说很重要的，对于整个视频行业都有很大指导意义的应用就在于，它形成基于结构化视频内容的大数据。大家都知道，其实如果你想知道现在每天产生多少故事，这么多视频里面到底哪个明星最火，什么样的视频最受欢迎，什么样的广告在其中被打得最多，其实是很难有的，或者说视频的制作者、视频平台都缺乏这样的数据做决策的依据。而对所有的视频结构化以后，形成一个视频内容的大数据，这是非常非常重要的。

我们现在所有的跟视频有关的大数据都是基于视频本身的一些附属标签、附属属性，它的题目、简介、演职员表等等这些事先由人工编辑所形成的周边数据。当我对他进行内容进行深度挖掘和结构化以后，就可以直接从一手的数据获得整个我所需要的大数据。

比如说对这个月的所有的视频进行扫描，找出每个明星出现的时间，所有的在不同的热剧中的播放量都可以得到明星不同维度的明星热度指数。还可以对视频中的场景进行分析，从而得出室内室外等等不同的场景下，他在视频中出现的次数频度，以及他对剧情的发展、大家喜好程度的关系，从而对导演、视频制作者有一个非常不错的一个指导作用。

当然我们更直接应用，当然是跟广告相关，广告电商相关，我可以把视频的内容以及与他在这个时间点上出现的广告的互动率，或者说他的效果进行分析，从而得出什么样的内容，什么样的场景，什么样的明星对于广告的推动效果最好，对广告主来说这是一个非常非常重要的内容，对他投广告是非常好的指导。

视频新场景创建如何着手？

现在无论是短视频、长视频还是大视频，其实大家开始不再满足于视频只用于观看，视频被赋于更多的期望，视频新场景的创建到底该怎么样着手？有哪些分类？

• 视频功能化

视频从单一的可以看，到可以互动，之后会越来越丰富。比如说在教育视频中，我们除了在视频中要能够学习到所有老师正在讲的内容，还希望能够和老师进行互动，老师可以出题让大家去答，甚至机器自动判卷，可以进行投票，等等。

视频功能化分四大类：

第一类，信息类。像是爱奇艺创可贴，芒果TV中的灵犀音乐热点广告，都属于这一类的。这种互动型的通过互联网驱动的热点广告，其实与固定化的角标或者说称之为这种百纳的形态有很大的不同：1、可以通过互联网的方式，定制很多与内容非常相关的动效，从而使它的出现不再突兀。当我发现这是一个音乐节目，自动会选用比如说音效声波的动效；2、用户可以在广告里面进行各种互动，从而使得对广告的印象会更加的深刻，同时还带有一定的效果广告的特点，也可以引流到目标页。

比如，百科。在很多地方都会有视频百科的需求，比如说在各种风光片或者旅游片中，会出现有相关这个旅游地点的一些介绍、美食美景甚至出现关于这个地点的一些投票，这些都是可以通过信息类的应用提供给大家。

当然这些都是跟内容相关的信息提供，比如说教育中的一些知识点的提供、老师的介绍、主播的介绍、旅游地点的介绍等等。还有一条是跟内容无关的，就是可以及时的在视频之中推送出一些头条新闻，这个是跟用户相关，跟视频本身的属性相关。这样的产品其实互动率是相当高的，我可以在全屏看视频的过程中，了解到哪里发生地震了，或者谁谁又出轨了，让你不离视频知天下，这样的效果其实达到视频类头条的功能。

第二类，互动类。投票、调研这些都属于在视频之中其实尤其在直播中非常非常好的的应用，比如说在2016年的超女直播中，以前的投票基本上都是靠短信来完成的，2016年超女整个投票都是使用的在直播中直接投票的方式来完成的，其实效果好，转化率高，而且可以得到实时的反馈。无论是体验还是效率，都得到很大提升。

第三类，生活提醒、生活服务类。比如12点请你订餐，而且立刻弹出最近的一家饭店里面你最喜欢的一个菜系，你一键下单不用离开视频。或者你看到一个电影预告片，你就可以一键下单可以买到最近一个电影院的票，这些都是非常棒的应用，可以让用户节省很多时间。

第四类，轻游戏类。实际上游戏和视频本身其实有很大的相关性，很多人说现在的游戏越来越像视频了，或者越来越像电影了，而很多电影越来越做的像游戏了。其实在很多平台上都会有这样的小功能，就是当与内容相关的时候，我可以提供一些小任务，我们叫轻游戏的系统，比如说卡牌收集。可以与粉丝达成很好的互动，并且可以引流。

熊猫在去年的一个活动中使用了一个叫爆灯的小游戏，就是让用户一起点一盏灯，当这个灯被爆掉以后，也就是所有的用户共同点击达到60万次的时候，将会发生一件事，主播换衣服的帘子就会一下掉下来。当时的互动率、效果都非常好。

• 视频的电商化

对于视频而言，其实要把它电商化，有两个主要的途径：第一个途径是进行电商商品的识别和购买，这个主要用于点播。比如，当我在欢乐颂中，把里面所有的品牌商品、同款都找到，并且以互动购买链接的方式，直接放在播放器里面，其实转化率非常的高；另外一种是跟直播相关，很多平台都会有一个主播的宝贝列表，这是主播用来卖东西的一个非常好的电商工具。

• 视频游戏化

这个和刚才的轻游戏是不同的，轻游戏是以视频为主，游戏只是其中的一个小的浪花。但是视频的游戏化则不同，视频变成游戏其中的一部分，这个在很多直播平台里面都正在尝试。比如说把视频中每一个观众作为狼人杀的参与者，比如一些悬疑类的节目可以做成App的模式，从而从技术上实现用户参与到视频的破案中来。

• 虚拟植入

用技术的手段使得在不改变视频的情况下，可以在一个浮层里面把想要植入的物体植入进去，这个肯定对于很多内容制作者是一种福音。因为以前的植入要我事先排好剧本，把所有的东西，拍进去才可以，现在我们后期把它放进去。

视频的场景创建有非常多的种类，我就不一一赘诉了。

钛坦白群友互动：

1、董总我想问下，就像您刚刚分享的那些广告案例的制作费用怎么计算呢？可以对比传统视频广告插入的成本来谈谈吗？

董慧智：不同的广告形式的成本是不同的，差别比较大。一般而言，如果是批量化投放的话，用AI做比人工便宜很多。以场景营销为例的精细化投放来看，会增加一部分成本。但AI的成本是与视频时长关联的，而广告收益是与视频播放量相关的，所以越是播放量高的视频，AI部分的成本的比例越小。总体上新增成本可以忽略不计。

2、对视频进行结构化分析，是否需要提前配置想要分析的内容？分析的效率如何呢？比如，我现在需要所有范冰冰的视频，分析出来了，以后我又想要李晨了，是否需要再次分析一遍？

董慧智：不太需要配置，因为一般的识别都是先做全量分析，对所有可识别的明星全部识别出来，存成一个数据库。之后再根据需要进行索引提取来进行应用。

3、对视频内容进行插入，是否会牵扯到版权问题？

董慧智：会涉及到，所以在做虚拟植入的时候，都会与内容方合作。这些技术本身是由视频平台来使用的，他们在应用这些技术的时候会去处理和规避相关的版权问题。

（本文独家首发钛媒体，根据Video++联合创始人、COO董慧智在钛坦白上的分享整理）

……………………………………

钛坦白第31期视频新玩法，三晚上的分享已经结束了

干货会陆续发布：https://www.tmtpost.com/tag/1508094

钛坦白第32期预告：AI已来之机器学习1

来自微软亚洲研究院、清华大学、阿里云的钛客将带来精彩分享～

时间：3月6日、7日、8日

地点：钛坦白|人工智能（微信群）

报名听课、交流：

钛坦白目前有医疗健康、人工智能、文娱社交、VR/AR、区块链、支付创新、体育、云计算、SaaS等九个专业群。

1、钛媒体Pro专业版用户，可以点击链接https://www.tmtpost.com/pro，登录账号，在线免费、任意选择自己要进入的群，按提示操作；

2、非钛媒体Pro专业版用户，可以添加微信号taitanbai0，在通过好友后，发99元红包给小钛，你将有权利从九个群中任选一个群进入，长期听课、交流。请告诉小钛你要进入哪一个群，然后等待小钛拉你入群~

推荐钛客、赞助、合作：

请与钛坦白负责人佳音联系，邮箱jiayinge@tmtpost.com