叙事可视化与数据视频

豆皮范儿粉丝们大家好，叙事可视化是最近几年学术界研究的一个热点方向，今天由玄魂给大家带来分享《叙事可视化与数据视频》

作者：玄魂
来源：https://mp.weixin.qq.com/s/3y...

导语

叙事可视化是最近几年学术界研究的一个热点方向，本文内容是对一些论文（具体见文末参考资料）的抽取和整理，旨在抛砖引玉。文章最后提出了一种面向普通用户的数据视频生成工具的研发设想，欢迎讨论。

1. 叙事可视化（Narrative Visualization）

叙事可视化简单来讲就是用可视化的展现形式来讲故事。常见的形式有信息图，数据漫画，数据视频等。

1.1 视觉叙事语法（Visual Narrative Grammar）

视觉叙事语法（VNG）提出了一个整合语言学理论和心理学实验的序列图像理解模型 。 VNG被设计用来描述连续图像的叙事结构。
叙事结构组成成分为四种：Establisher(E), Initial(I), Peak(P), Release(R)。

• Establisher (E): 提供参考信息而不参与叙事的动作或事件的序列
  <!---->
• Initial (I): “启动动作或事件”的序列
  <!---->
• Peak (P): 一个事件的高潮阶段
  <!---->
• Release (R): 高潮之后的序列
  
  VNG实际上是在传统的戏剧创作理论上发展而来的，和我们通常讲的写作手法是相通的。
  如上图，这是一个简单的漫画，Establisher 阶段构建了场景，交代了人物时间和地点；第二幅图开始发生事件——主人公睡不着觉开始想事情。Peak阶段，人物开始纠结是否要下床冲澡，这是一个反复的过程。最后，主人公 Release 阶段公还是决定睡觉。
  为了展现更复杂的叙事结构，四种基本组成成分通常会以树形嵌套结构来构建。这有点类似长篇小说，整体的大框架下会进行小的事件发展拆分，这样才会有跌宕起伏，高潮迭起的效果。下面来分析几个叙事模式。

1.2 典型叙事模式

[Phase X (Establisher) – (Initial) – Peak – (Release)]
典型的叙事模式，不论整体叙事结构还是局部的子流程，只有Peak是必须的，其他成分是可选的。

如上面的漫画，整体上分为三个部分：
Initial： 描述两个拳击手在拳台上比赛
Peak： 高潮部分，左侧拳击手漂亮的一击，打倒对手
Release： 结局

这是一个树形嵌套结构，每个阶段都可以扩展自己的子流程。最终实现的一个整体的叙事结构为：I-P-E-I-Ref-P-R
Conjunction schema [Phase X X1 - X2 -... Xn]

在整个叙事过程中，我们往往需要使用不同的方式去展现局部信息，对整体要表达的内容进行分解，可以更好的突出重点、表达意图。
如果几个连续的图像在该阶段的组成部分中起着相同的语法作用，我们可以通过不同的组合方式来呈现最后的整体概念。如下图，左侧的这些连续图像创建了右侧面板的概念等价物。

上图中集中组合方式是我们在漫画中经常可以看到的，从语法上进行描述如下：

• （a） 动作或事件（a-连词），
• （b）场景中的角色（E-连词），
• （c）单个角色的部分（N-连词），
• （d）不同的语义相关元素（S-连词）

2. 数据视频

数据视频是一种常见的可视化叙事形式，通过定制图形与图表的动画并结合听觉音效，从而叙述数据中的故事。数据视频是一种非常吸引人的数据叙事方式，可以在短时间内提供给观众多样化的信息。
比如下方的是一个视频，通过中日韩三国的GDP数据变化，展现了中国改革开放以来的经济发展趋势，同时配以爱国音乐来凸显爱国主题。
https://www.bilibili.com/vide...

为了更好地理解数据视频的内容和结构，相关论文搜集了50个典型的数据视频进行了定性分析。

2.1 数据视频的叙事结构

观察到数据视频也是分层叙事的，并且可以进一步分解为子单元。下图是统计结果，使用正则表达式来表示叙事模式。

EI+PR+
访问链接：https://www.shutterstock.com/...
可以观赏这段长2.07分钟的数据视频。该视频遵循（EI+PR+）叙事结构模式，综合应用语音叙述、视频片段、数据可视化和注意力线索，为我们讲述了一个人类与媒体关系演变的强大故事。

Establisher 部分显示主题，表明视频是关于“视频的力量”，迅速过渡到Initial 阶段，包括4个基本单元。最初的3个单元描述了一个基本事实，关于视频使用率上升的统计数据。在第四首单元的开头，叙述者问“为什么是视频？“接着是日常生活的片段，通过反思已经呈现的信息，为用一句话回答问题的Peak阶段营造紧张气氛。Peak 阶段用激昂的音乐和动画效果来吸引观众的注意力。然后，视频继续呈现更多事实，支持Peak中给出的答案。这是通过4个发布单元完成的，所有这些单元都包括数据可视化展现。动态图表、突出显示条形图中的单个条形图以及年份范围的连续变化都是数据可视化中常用的注意力提示手段。
E+I+PR+
最常见的叙事模式是 E+I+PR+ 模式，34%的视频使用了该模式。
E+I+P
这些结构包含一个高潮单元（P），没有任何结尾单元。这种叙事结构的数据视频在呈现数据中的一些事实之后，给观众留下一个“问题”或“需要思考的东西”，从而完成叙事。
“EI+” 和 “ER+”
平铺直叙的数据展示，往往靠数据本身的魅力来吸引观众。

2.2 组成分析

如果统计这些片段的时间分布，我们会发现Initial部分的时间占比是最长的，平均大约占了视频超过60%的时间，而这类Initial的部分在传统视频中往往比较短，这表明数据视频与传统视频的结构是存在着差异性的。

研究者还对每个结构成分中的数据可视化和注意力提示信息的占比进行了统计（下图），发现在Initial视频片段中，60%的内容包含了数据可视化的元素，这一现象表明可视化往往被用于事件的铺垫，而不一定只用于事件结果的呈现。此外，注意力提示信息的分布和数据可视化的分布基本是类似的，说明他们之间是直接相关的，数据可视化往往需要这些注意力提示信息来加强他们的表现力。其中大约有20%的视频会以一个问题作为开头，30%的视频会在收尾处提供一些额外的说明或者引导信息。

2.3 数据视频的可视化元素使用情况

展现类型
在数据视频中，对数据进行可视化展现是讲故事的主要手段。虽然数据视频的平均持续时间为3分钟（1到7.5分钟），但呈现的数据可视化的平均次数为6次（1到19次）。平均而言，数据视频总时长的48%用于数据可视化。72%的数据视频平均只依赖于5种不同类型的可视化（图2-左）。超过一半的数据视频持续时间包含数据可视化，但它们仅限于3种展现形式（散点图、条形图和地图）。

Attention Cues
我们确定了九种主要类型的视觉和听觉效果，旨在吸引观众的注意力。
最常用的前三种效果是动画、出现/消失和突出显示。

3. 如何制作数据视频

从工具和生态上看，目前针对数据视频的制作并没有独立的工具，并没有从视频创作的大分支下细分出来。

目前常用的方法

1. 图表生成工具+视频编辑工具
   一些图表库提供了简单了动态图表制作工具，但是并不能有效的完成可视化叙事的需求。相关推荐可以参考知乎：https://www.zhihu.com/questio...
   目前开箱即用的图表工具类型和形式上非常有限，这也是我们看到的大多数用户的数据视频都是柱形图、线图的原因之一。
2. 图像编辑工具+视频制作工具
   几乎所有制作精良的数据视频都是专业的设计师绘制，结合视频编辑制作出来的。

专用工具
我们在一些论文中，可以看到这个方向的研究，比如DataClips（ https://fereshtehamini.github...
），但是实际公开可用的工具并没有，这块的市场还是一个空白。
## 4. 面向 C 端人群（内容创作者）的数据视频制作和发布工具的设想
（以下软件界面仅为辅助示例，并非实际的数据视频制作工具的截图）
我们可以看到视频内容的创作和发布频率，在相当大的人群中，已经超越了文字内容的创作。数据视频主题突出，展现形式多样，叙事结构简单明快，在短视频发布领域具有天然的创作优势。

本质上是一个故事设计工具
视频只是一个最终产物（或者说产物之一），核心功能还是如何设计编排一个故事。这点和PPT在概念上是一致的，我们使用设计好一个故事如何讲述、如何呈现、如何交互，最后的“导出视频”只是一个功能特性。

数据可视化是核心呈现形式
该工具将传统的可视化展现工具、数据分析工具的核心功能与故事创作完美的结合起来。可视化在这里会起到如下几个作用：

1. 展现形式多样化。可以将统计图表、图、Gis等多种多样的展现形式融入进来，摆脱类PPT工具重点使用文字、图片、图形的展现形式。
2. 全新的叙事形式。借助可视化的展现形式和镜头语言，我们可以有全新的多维度叙事方式。比如下方这种全画布的叙事方式，打破了PPT类工具的从点到线的展示叙事方式，扩展了“面”。
   
   当然我们可以继续深入，使用3d的方式来叙事。
   

智能化是持续满足用户需求的源动力
只有足够智能，并且不断进化的工具才能持续满足用户的需求。智能化体现在如下几个方面：

1. 智能数据分析能力
2. 智能文本分析能力
3. 可视化自动生成能力
4. 故事自动编排能力
5. 素材自动推荐能力
   

小结

研究叙事可视化在视频内容场景下的应用不论对数据可视化本身的叙事能力提升还是在提升视频内容表现力方向上都有很重要的意义。数据可视化的语义表达和视频的语义表达可以相互借鉴互相成全。这个方向上，不论是内容产出还是学术研究都处于一个起步的阶段，期待此文能给大家一点灵感。

参考资料

• https://fereshtehamini.github...
• http://mucollective.northwest...
• https://idl.cs.washington.edu...
• https://www.visuallanguagelab...
• https://fereshtehamini.github...
• https://www.zhihu.com/questio...
• https://zhuanlan.zhihu.com/p/...

The End

如果你觉得这篇文章对你有帮助，有启发，我想请你帮我2个小忙：
1、点个「赞」，让更多的人也能看到这篇文章内容；
2、关注公众号「豆皮范儿」，公众号后台回复「加群」 加入我们一起学习；

关注公众号的福利持续更新，公众号后台送学习资料：
1、公众号后台回复「vis」，还可以获取更多可视化免费学习资料。
2、公众号后台回复「webgl」，还可以获取webgl免费学习资料。
3、公众号后台回复「算法」，还可以获取算法的学习资料。
4、公众号后台回复「招聘」，获取各种内推。