影视头条 站长资讯 女性话题 校园资讯 科技资讯 农药资讯 创业交流 服装服饰  
读书心得 人工智能 家电资讯 文化资讯 家居生活 五金资讯 动漫资讯 医疗资讯  
首页>> 科技资讯 >>正文
利用AI技术评估电视节目中人物的情绪
2021-11-25 19:27:10  来源:熊猫资讯网 

深度学习通过人脸估算情绪的能力已经愈发强大——具体来讲,只需要查看图像内容,其即可将其中人们的快乐或悲伤心情整理出来。那么我们是否能够将这项技术应用于电视新闻,从而评估一周内新闻中所有出镜者的整体情绪倾向?虽然基于AI技术的人脸情绪评估仍是一个年轻且正在快速发展的研究领域,但通过本次利用谷歌云AI对互联网档案馆内电视新闻归档中的一周电视新闻报道进行分析,我们发现即使是单纯利用现有工具方案,也足以从新闻内容当中提出出大量可见情绪元素。

为了更好地理解电视内容,我们选择对CNN、MSNBC以及福克斯新闻网以及来自旧金山的其它媒体分支机构——KGO(ABC)、KPIX(CBS)、KNTV(NBC)以及KQED(PBS)——的早晚播出新闻内容进行情绪识别,具体时段为今年4月15日至4月22日。作为分析对象的电视新闻总时长为812小时。我们选择利用谷歌的Vision AI图像理解API进行分析,并启用了其中的所有功能,包括人脸检测。

人脸检测与人脸识别存在着很大差异。前者只计算图像当中存在的人脸,而并不会尝试分辨此人究竟是谁。总体来讲,谷歌的可视化API仅提供人脸检测功能,而并不提供人脸识别功能。

以谷歌API为例,对于每一张脸,它还会估计其正在表达的以下四种情绪的各自可能性,包括喜悦、惊讶、悲伤与愤怒。

为了探索电视新闻中的面部情绪世界,我们将总长812小时的电视新闻转换为1 fps预览图像序列,并通过Vision AI API加以运行,总计得出1261万2428脸-秒(即总帧数乘以各帧当中能够检测出的清晰人脸数量)。

其中,3.25%展现出喜悦的情绪,0.58%表现出惊讶,0.03%表现出悲伤,0.004%表现出愤怒。

可以看出,谷歌的Vision AI API在处理在线新闻图像时,认为喜悦与惊讶情绪的出现比例要远远高于愤怒与悲伤我们还无法确定这究竟只是一种整体性的分析错误,还是新闻图像中确实存在这样的基本情绪表达趋势,或者说谷歌的算法对于喜悦与惊讶这两种情绪的识别能力更强。无论如何,即使谷歌算法确实对于某些特定情绪拥有着更高的敏感度,但这种倾向对各家新闻站点而言仍然是公平的,因此我们可以直接对七大站点中的四种面部情绪表达做出比较。

下图所示为这一周时间之内七个新闻站点当中全部人脸图像呈现出四种情绪中任意一种的各自占比。其中ABC、CBS与NBC似乎面部情感表达最为活跃,其次是福克斯新闻网、MSNBC与CNN,最后是PBS与CNN。

由谷歌的Vision AI API分析得出,清晰的人脸图像在2019年4月15日至4月22日期间表达喜悦、惊讶、悲伤或愤怒情绪的百分比。

在这份排名当中,喜悦情绪占据的比例最高,具体如下图所示。

由谷歌的Vision AI API分析得出,清晰的人脸图像在2019年4月15日至4月22日期间表达“喜悦”情绪的百分比。

下面来看关于惊讶的情绪,其排名在不同电视站点上出现了全面倒转。PBS的惊讶情绪密度最高,CBS居中,ABC落在最后。

但考虑到这四种情绪之间并非完全隔离,因此ABC的喜悦情绪密度更高,并不代表着其惊讶识别率就一定更低。

由谷歌的Vision AI API分析得出,清晰的人脸图像在2019年4月15日至4月22日期间表达“惊讶”情绪的百分比。

悲伤是一种相对不太常见的情绪,但在各站点之间仍然存在着明确的分层。其中NBC中包含的悲伤情绪比MSNBC多了三倍半。

由谷歌的Vision AI API分析得出,清晰的人脸图像在2019年4月15日至4月22日期间表达“悲伤”情绪的百分比。

最后是愤怒,这种强烈的情绪在各家新闻站点当中的出现机率最低。尽管如此,其仍然表现出明确的分层趋势。福克斯新闻网当中的愤怒情绪比位列第二的PBS多出1.5们中,而且几乎达到比例最低的NBC的十倍。

事实上,福克斯新闻网中出现的愤怒面孔比MSNBC和CNN加起来还多。

由谷歌的Vision AI API分析得出,清晰的人脸图像在2019年4月15日至4月22日期间表达“愤怒”情绪的百分比。

最重要的是,AI对于人脸面部表情这类复杂且存在细微差别的事物进行判断的能力,目前尚处于早期发展阶段,而且仍是一大非常活跃的研究领域。因此,这里公布的结果恐怕无法被视为对各个新闻站点主流情绪表达的确定性结论。相反,我们可以将其看成是深度学习技术在帮助我们立足更深层次进行维度探索的初步尝试。

综上所述,深度学习开辟了我们理解视觉世界的新领域。立足大规模电视新闻中的对象与活动进行编目,我们终于开始对原本根本无法想象的新维度进行评估——例如本次案例中的面部表情。

最后,正如当下文本情感分析已经变得司空见惯一样,相信终有一天,视觉情感分析也将得到新兴的高级视觉深度学习算法的支持,从而为我们带来前所未有的宏观解读能力。


电子签章 https://www.itrus.com.cn
抽丝剥茧,深度分析驴迹科技的投资价值
正式应用还要数年,但5G依然将引爆CES 2017
鸡西市科技局举行专家义诊进校园活动
这个影院不太冷——爱奇艺iQUT未来影院发布“超级用户...
1
 
利用AI技术评估电视节目中人物的情绪
祁连县第三届青少年科技创新大赛举办
盘点2012年取得突破的10类科技创新企业
天猫国际进口消费翻倍,支付宝境外人均消费增三成
HTML5和Flash是一场无止境的争论
忘了iPhone X吧! 苹果今年或推出更大屏手机 仅售550美元
你不该错过 MWC这五大看点
一年从华为赚走170亿,伟创力为何与华为反目成仇?
彩电进入“质”拼时代 长虹等制造商正走出发展“困境”
Tumblr移动应用投放信息流广告 类似博客文章
 
1
1
大数据分析尊龙客户端APP世界杯精准盘口分析
韩国以用户权益受损为由向Facebook开出37万...
腾讯2016Q4财报发布 网游收入增长184.69亿
ofo支持北京一卡通开锁支付
滴滴接入如祺出行 用户可一键呼叫滴滴和如祺...
Gartner评出2015年五大过热技术 无人驾驶居...
IBM研发世界首个人造神经元 能模拟大脑工作...
古龙武侠小说全集:山东科技大学2019年6月四...
婚礼中,那些亮瞎眼的高科技玩意儿
找到300家合作伙伴之后,爱奇艺如何做VR?
1  
1
1
利用AI技术评估电视节目中人物的情绪
祁连县第三届青少年科技创新大赛举办
古龙武侠小说全集:山东科技大学2019年6月四六级
婚礼中,那些亮瞎眼的高科技玩意儿
传苹果iPhone 6支持NFC和新版WiFi技术
iQUT未来影院版本升级Fota1.0更新包发布,应用商店上线
亚马逊拟为公司总部员工开设诊所 未来或进入医疗领域
苹果发出WWDC邀请函:6月6日举行 将发布什么?
找到300家合作伙伴之后,爱奇艺如何做VR?
这个影院不太冷——爱奇艺iQUT未来影院发布“超级用户计划”
熊猫资讯网