加拿大著名媒介大师麦克卢汉在其著名的《理解媒介》一书中曾经深刻指出“媒介即信息”和“媒介是人的延伸”,即语言、印刷、电子和数字文化塑造了不同时代人类行为的特征,由此,媒介文化开始成为一种价值观和意识形态为人们所重视。
我们按照时间的顺序将媒体分为“旧媒体”和“新媒体”。“旧媒体”是指早期出现的媒体形态,也称传统媒体,其中分为电视、报刊、广播这三种形式(图1-1)。
图1-1 传统媒体
传统媒体又可以分为第一传媒、第二传媒和第三传媒。报纸刊物属于第一传媒,这种传统媒体是纸介媒体,纸张和油墨是其依赖的媒介。广播、收音机、电台等属于第二传媒,其特征是模拟音频信号,以收音机为终端。第三传媒是电视和高清电视(HDTV),电视兼有报纸、广播和电影的视听功能。这是一种基于模拟图像信号的媒体,以电视机为终端。
新媒体是新的技术支撑体系下出现的媒体形态,可以说新媒体是一种环境(表1-1)。新媒体是利用新的数字技术,通过计算机网络、宽带局域网、无线通信网、卫星等渠道,以电脑、手机、数字电视机等为终端,向用户提供信息和娱乐服务的传播形态。严格地说,新媒体应该称为数字化新媒体。我们将新媒体分为第四传媒和第五传媒。其中第四传媒包括数字电视、DAB、数字电影、数字动画等,这部分媒体依靠传统的媒介为终端,但又是传统媒体的数字化延伸,媒介产生流程数字化。除此以外,第四传媒还包括互联网、网络电子书、电子杂志、光盘、IPTV、网络视频、宽带、网站、博客等,这部分媒体依赖电脑为终端,基于数字化网络,具有交互性。第五传媒指的是手机、PDA、MP3、电子阅读器、平板电脑、数字多媒体播放器等,是基于无线宽带的数字化网络的移动便携式媒体,同样也是一种交互式的媒体。
媒介改变艺术的形态,瓦尔特·本雅明早在 1970 年前就已经认识到:“近 20 年来,无论物质还是时间和空间都发生了巨大的变化。人们必须预计到,伟大的革新会改变艺术的全部技巧,由此必将影响到艺术创作本身,最终或许还会导致以最迷人的方式改变艺术概念本身。”
其中不得不提的就是电影的发展。从 1985 年第一部电影诞生起,摄影技术、机械技术与艺术慢慢融合。电影的出现打破了传统艺术的表达形式,让“机械+艺术”的形式成了典型。同一时间,娱乐工业蓬勃发展,其中以好莱坞电影为代表。电影的出现将科学与艺术相结合,拓宽了人类的视听限制,也让人们看到了科技与艺术结合带来的震撼效果。从电影开始,大众艺术的地位在上升,而传统艺术的“独一无二性”的“灵光”(本雅明语 )逐渐消散。从电影、电视、数字影像、DV短片、微电影到新媒体动画,技术(媒介)与艺术日趋紧密的结合也意味着“新媒体哲学”开始成为理解当代艺术现象的钥匙。
表1-1 媒体分类
特别是最近几年,随着智能手机、智能服饰和可穿戴设备的发展,数字科技与人们的关系越来越紧密,也日益成为前卫艺术家创作的媒材。例如,2002 年播出的《少数派报告》中就出现了一种特殊的操作方式——用手势来控制。汤姆·克鲁斯通过摆动手臂打电话和操作视频的场景让人印象深刻。目前,手势操作设备已经在现实中实现了,比如华为手机某些款式已经具备此功能,在未来的生活中手势操作定将会普及。《钢铁侠》中,托尼·史塔克穿上钢铁衣后,操作界面就会跟踪他的眼睛。当他要查各个部件的信息时,只需要去看,相对应的信息便会直接聚焦放大。
再比如,电影中的语音控制。电影声音是电影媒介的基本元素之一。它使电影从纯视觉的媒介变为视听结合的媒介,使得过去在无声电影中通过视觉因素表现出来的相对时空结构,变为通过视觉和听觉因素表现出来的相对时空结构。在科幻电影《特种部队:眼镜蛇的崛起》( G.I.Joe : Rise of Cobra )中,战斗机“夜鸦”的开火系统,就是通过声音来控制的。
数字媒体艺术已经慢慢走进影视制作的方方面面。从电视机中的高清画面到有着高级特效的数字电影,再到模拟实景的计算机游戏场景,这些都可以看出数字媒体艺术现在已经成为新兴的艺术形式,带给人们全新的体验。随着数字技术的发展带动了艺术的数字化,促进了数字影像艺术这一新的艺术品的产生。
数字媒体艺术属于广义的媒体艺术的领域,是基于计算机语言和数字媒介的一门新型艺术形式,是科学、艺术和媒体相互交叉领域和实践型应用学科。数字媒体艺术的核心是艺术设计和数字科技。其媒体展示与传播形式,主要是借助于新媒体形式或数字载体,包括互联网、手机、平板电脑或数字交互媒介等来进行的(图1-2)。因此,从狭义上看:如何应用数字艺术创作工具是数字媒体艺术的研究重点,即根据人的需求和艺术设计规律来创作和表现具有视觉美感的艺术作品或服务产品。
图1-2 数字传播媒介
数字媒体延伸和发展了人类的艺术创造力和想象力,具有多重特点。比如,数字媒体艺术具有语言数字化特点,在传统的印象中如果人们一提到买家具就会想到去实体卖场,而在数字化的时代这些就可以由电脑编程和数字化软件所制作的三维模型所代替,人们只需要打开该产品的相关数字展示链接,就可以在手机等上面轻松地看该款家具是否适合自己的需求。
数字媒体艺术呈现多元化的表现特点。人类社会从口语时代、印刷时代、电子时代发展到互联网信息时代,5G技术、大数据、云计算等已经融入了人们的日常生产生活。微博、微信、抖音、快手等智能新媒体软件应用成为人们休闲娱乐、获取信息的主要途径。传统戏曲与不断涌现的各种媒体形式的邂逅,给自身带来了新的生机。
戏剧作为中国的传统艺术形式,不仅能够生动地体现人们的情感,在现代,还能够通过将舞台艺术与艺术数字相结合,从而发挥戏剧表演的多样化。数字媒体艺术究其本质而言,是属于大众文化的,具有大众化的特点,即艺术源于生活又高于生活。戏曲是我国传统文化的瑰宝,凝结了中华民族的美学思想。传统戏曲的发展史可以说是戏曲借助不同媒介的传播史。一旦戏曲传播媒介发生改变,戏曲艺术的表演、剧场和观众等都会发生相应变化。
当今是信息化时代,网络、电视、电脑随处可见,数字媒体艺术已经渗透进人们生活的方方面面,同样数字媒体艺术的发展也离不开人民大众。数字媒体艺术工作者为大众制作出了大量的视觉文化产品,同时数字媒体艺术因具有制作高效化的特点,为创作者提供便利的修改条件,节省了时间以及人力物力。
数字媒体艺术作为媒介产品的结构体系可分为四大专业领域,包括时间媒体设计、交互产品设计、互动娱乐设计和传统媒体延伸设计。除了根据媒介属性对数字媒体艺术分类以外,也可以采用一种更为简洁的分支结构。在数字艺术早期,美术作品占的比重比较大,因此,数字媒体艺术在当时又被称为“数码艺术”。正像其他许多新生事物刚刚出现时一样,人们总是借鉴以往一些既有的名词、现象或视觉艺术形式去概括、演绎或命名新事物。当然,用电脑来画画只是数字艺术的一个领域,当数字艺术发展到今天,已经远远无法用“电脑美术”的概念来概括这一学科了。但“数码美术”仍然是数字媒体艺术的一个重要领域。它和新媒体艺术、数字实验动画、动态媒介和虚拟现实一起可以代表在纯艺术领域出现的数字媒体艺术。
如果基于时间变量对数字媒体作品分类,则可以进一步分为动态表现作品和静态表现作品。其中四个子项是电脑绘画、电脑图像处理、电脑动画、电脑视频编辑和后期特技。这些子项又可以进一步细分。静态的表现艺术主要指最终的展示形式为静态的图像,例如,数字照片、印刷作品、网页图像等。也可以根据作品的创作方式分为电脑绘画作品和电脑图像处理作品。
在二级分类的基础上,使用图像软件(如Photoshop、Corel Painter等)为主要创作手段的作品可以归类于电脑手绘艺术,使用矢量软件(如AI、CorelDRAW等)为创作手段的作品可以归类于电脑图形艺术。通过分层合成的手段,上述两种图像还可以组合或“拼贴”成新的艺术作品。单帧的三维渲染图片是通过 3ds MAX和MAYA等三维动画制作软件设计的,单输出形式为彩色喷绘或储存为tiff、jpeg等高精度动态画面。
计算机动态艺术可以分为线性和交互性两种媒介形式。前者的创作工具如 3ds MAX、MAYA、Avid Softimage XSI等软件。网络动画和网络媒体软件如Adobe Premiere CS5、Adobe After Effect CS5 等。计算机动画根据其表现形式可以进一步分为二维动画、三维动画和可交互性动画。在此基础上,通过电脑动画艺术、控件设计和视频艺术的合成,进一步派生出虚拟现实艺术、Web 3D艺术、网络游戏、CG合成电影等更丰富的多媒体表现形式。从应用领域来看,数字媒体艺术和设计所涉及的领域很广,它较多地表现在视觉艺术领域,包括广告、建筑和工业设计、多媒体产品、网络媒体、交互游戏、CG影视特技和动画设计、服装和纺织品设计以及数字化信息设计或展示设计等。由此,数字媒体艺术具有交互性的特征。
“交互艺术”是一种新兴的数字媒体艺术形式,特指欣赏者(观众)能够通过视、听、触、嗅等感觉手段和智能化艺术作品实现即时的交流互动,并由此达到“全身心”的融入、体验、沉浸和情感交流。也可以说,交互艺术先由作者制定规则→从事创作→提供元作品→然后鼓励访问者参与→以改变作品形态的方式作为对访问者的反馈。作品形态的转变对互动艺术来说主要由访问者决定。交互艺术认为人们在艺术作品观赏中所扮演的角色是多重的、可变的,并把参观者看成作品不可或缺的一部分,强调受众的积极性、主动性和能动性。它要求参观者参与到作品中来,并通过这种互动使作品本身发生可逆或不可逆的变化,从而产生实时的、可变的艺术效果,这种动态和交互也正是作品生命力所在。交互艺术的表现形式,根据接触方法的不同可分为“桌面式”“现场式”等。
影视作品的审美关系呈现出交互性。在新媒体时代,视频观看模式的转变让很多学者发现,新媒体技术的不断进化给影视作品开发提供了新的机遇,可以通过优化播放器功能和外观,增加影视艺术作品和观众之间的互动元素。在观看影视作品时,受众者不再是被动的、静态的,而是可以通过“弹幕”等形式实现互动,对影像呈现产生一定的干预。 同时也可以借助视频编辑软件,根据个人喜好进行素材的拼贴,并且还可以进行实时更新。近几年兴起的弹幕文化就是一种新的交互手段,例如,在《中国诗词大会》节目播出后,无数的网友在观看的同时打出弹幕,为中国文化博大精深刷屏,彰显了浓烈的民族自豪感,有助于影视艺术作品传播的良好反馈。
1.桌面式
桌面式交互作品主要通过电脑与互联网来实现,人们可以随时参与到作品中,整个作品由网民进行异步设计或管理,所以这些作品并不是一成不变的而是随时间不断变化的。例如,2008 年,故宫和IBM公司合作推出一款名为“超越时空的紫禁城”虚拟世界项目。这个项目打开了中国历史文化景点在互联网上首次展现的大门,让世界各地更多的人可以看到故宫的恢宏气势以及精美藏品。但这个项目绝不仅仅是单纯的展示,而是更加注重观众的使用体验。比如,游客在进入虚拟故宫时可以选择扮演各种角色,既可以是官员,也可以是宫女、太监等。还可以在虚拟故宫中体验多项游戏、与他人聊天、拍照等。总之,观众的整体体验感很好。目前,借助搜索引擎、多媒体动画、虚拟漫游和VRML虚拟三维展示等手段,桌面式交互艺术已经迅速发展。
2.现场式
现场式交互作品的展示需要一定的空间,一般在博物馆、艺术场馆或者公共空间展示,并且多以“虚拟现实”或“多通道人机交互”的形式出现。 现场式交互作品通过计算机来捕捉人的多种感觉,如语言、表情、唇动以及人的肢体动作等,并在捕捉后及时反馈。观众便在这种虚拟交互环境中与艺术品互动、对话。
现场式交互作品的出现为创意的实现提供了更多的可能性,给作者和体验者都带来了新的空间。它突破了传统艺术形式中作者与观众的关系,观众在作品的创作和诠释阶段的地位变得越发重要,特别是观众的参与方式和参与程度往往成为作品能否成功的关键。这种多通道、多媒体的智能人机交互作品可以再分为界面交互式新媒体作品和沉浸式数字媒体艺术作品。
(1)界面式数字媒体艺术
界面交互式新媒体作品是目前常见的一种展览形式,参观者通过触摸、手势等肢体动作或操控控制器来与作品交互,并通过观众面前的屏幕或“交互墙”(图1-3)产生反馈结果。
图1-3 视觉型媒体交互作品
观众在体验这种人机交互模式时的体验感接近于电子游戏,它更注重观众通过自身动作产生的惊奇感。例如,近几年来一直流行的角色扮演类游戏(Role-playing game)。游戏玩家通过在一个虚拟世界中扮演某一个角色来完成整场活动。在体验过程中玩家需要遵循一定的规则来推动游戏角色的发展,游戏的成败往往取决于玩家的某个行动方针。这些游戏的设计艺术以及玩家体验就是一种界面式的艺术效果。
这类游戏目前为大家所熟知的主要有桌游卡牌类游戏、端游类RPG,以及手游类RPG。对于桌游卡牌角色扮演类游戏,游戏玩家之间往往需要进行讨论,并且需要一名游戏管理员对游戏规则进行讲解和科普,以便顺利进行。“三国杀”“狼人杀”等卡牌游戏就属于此类。在这类游戏中,参与者在一定的游戏规则下扮演各自的角色,同时完成相应的任务以赢得游戏的胜利。这种游戏并不需要过多的肢体参与,游戏自身的智能化程度较低,游戏过程也会受环境的影响,是一种典型的界面式交互。后续出现的角色扮演类游戏大多需要依附电子平台,游戏的类型也在不断地变化,从早期的文字类泥巴游戏(MUDs)发展到今天的大型多人在线角色扮演游戏,这种依附电子平台的角色扮演和桌上角色扮演游戏一样通过玩家对角色的演绎来推动游戏发展,同时也需要一名计算机担任的游戏管理员。不同的是,电子平台可以将游戏中的虚拟世界直接模拟出来,并且让玩家摆脱桌面游戏带来的束缚感,游戏体验感更强。
根据游戏客户端所依托的电子平台的类型,可以分为“端游”和“手游”。端游指的是以电脑为游戏终端来进行游戏,比如,Dota系列的RPG类游戏。手游则是将原本需要在电脑上操作的游戏过程集成到智能手机上,使游戏过程更为便捷,如王者荣耀、绝地求生、阴阳师等。这部分游戏同样是让玩家以一定的角色参与其中,交互体验上依赖于界面屏幕,肢体参与度较低,采用的是界面式的数字媒体艺术。
(2)沉浸式数字媒体艺术
由于沉浸式交互作品的场地限制性,沉浸式数字媒体艺术主要出现在博物馆或者艺术场馆中,并多以“环境体验”或“多通道交互”的人机交互模式的形式出现。沉浸式数字媒体艺术作品通过计算机来捕捉人的多种感觉以及动作,例如,人的面部表情、唇动、肢体动作、手写等。但往往捕捉后等反馈需要一定的时间,所以存在一定的滞后性。观众通常“沉浸”在与虚拟计算机的交互环境中,并通过作品的互动探测装置,如光纤、触控和投影传感器等,与作品互动(图1-4)。
图1-4 沉浸式交互艺术作品
在自由度体验方面,界面式交互装置艺术对交互墙面或屏幕的依赖性高,而沉浸式交互装置艺术自由度更高,只有部分依赖交互墙或屏幕。在沉浸感体验上,界面式交互装置艺术在体验时由于其本身需要的交流互动,受周围环境的影响更多,而沉浸式交互装置艺术往往在一个单独的空间中,受外界的干扰少,沉浸感大大增强。在心理体验上,界面交互装置艺术是直接的、瞬间的、视觉化的,而沉浸式交互装置艺术是间接的、环绕的、滞后的、多通道的。在智能化程度上,沉浸式比界面式高,因为沉浸式体现的是环境的交互。从观众的参与度上来说,界面式更多的是触摸或者上肢参与,而沉浸式则会有全身的动作参与,有多通道的参与体验,感受分散(表1-2)。
表1-2 交互装置艺术对比
续表
如同观众在观看 3D电影《阿凡达》那样,观众仿佛无痕迹地在虚拟与现实之间穿梭。但也会有结合上述两种模式,让观众在黑暗环境中借助挥手或身体舞动使作品发生变化。例如,装置艺术家安妮卡·卡普特丽和她的搭档克里斯托贝尔·门多莎的作品“神经网络”就将互动体验变得更加流畅和优美。她们结合了尼龙绳、投影仪和摄影头,设计出了一款“有形+无形”的交互装置作品。当观众走过或者向这件装置挥手时,摄像头记录了身体的动作,计算机控制尼龙绳进行有规律的波动,由此产生了非常有趣的互动效果。卡普特丽 2008 年毕业于坎布鲁克艺术学院,她和毕业于罗德岛设计学院的研究生门多莎共同完成了这件出色的作品。
1.动感元素
数字动感涉及科学和文化传播等多个方面,它不仅能够呈现出动态的媒体艺术,还能够创造出媒体艺术。在我们的生活中电脑的画面就是使用的数字动感,然而动态媒体艺术是通过虚拟摄像机的作用,将变化的数据通过各种技术创作出动态媒体艺术。 电脑中的虚拟摄像机能够打破人类视角范围的限制进行全角拍摄,让画面得到了更为广阔的表现空间。
2.音效元素
音效在整个数字媒体艺术的表现中是重要传播形式,一个好的音效跟画面一样重要,音效结合画面才能达到更好的传播效果。一个好的声音会使影片的时空变得生动,给形象赋予灵魂。声音传达的不单是信息更是一种情感,能够让整个人物形象更加丰满。如今数字媒体艺术当中,数字音效的地位也越来越不可忽视,作用也越来越重要,它逐渐取代了传统声音。
3.特技元素
早期人们对特技的印象往往还停留在影片中人物的高深武功或者特殊的拍摄技巧上,其实高超的武功是配合道具和特殊场景拍摄出来的,这种拍摄方法费时又费力,即使这样最终呈现出来的效果依旧有限。此时数字特效的优点就显现出来了,它可以通过计算机利用各种元素,对图形图像进行深度的处理,从而制作出理想的画面。可以说数字特效既节约了时间又节省了金钱,同时提升了画面效果,给人带来美的享受。
4.色彩元素
色彩是一种美的表现形式,能够让人产生视觉的变化。随着网络的发展,各式各样的广告、影片让人们看到了各种类型的色彩。色彩在数字媒体艺术中的运用也越来越重要,在广告的拍摄和电脑游戏的画面中,就可以看见数字色彩的运用,利用计算机设计出形象,并利用有关方面的原理对之进行深层次的分析,从而使之更好地服务于人们。这也使得数字媒体艺术有了更深层次的艺术形式。总而言之,数字媒体艺术是以数字技术为支撑的艺术,能够高效地发挥其在艺术传播中的优点,在未来的发展中越来越举足轻重。
新媒体艺术是广义的媒体艺术的一个分支,是基于数字媒介的一门新型艺术形式,是科学、艺术和媒体相互交叉领域和实践型应用学科。数字媒体艺术的学科依托、研究领域、主要的研究课题及研究方向可以总结为以下(图1-5):
图1-5 数字媒体艺术
数字媒体艺术属于典型的交叉学科,既有计算机科学的知识,也有人文社会科学的知识(如艺术学、传播学和符号学)。从目前我国的学科划分上看,艺术学、设计艺术学、电影学和广播电视艺术学可以作为该学科艺术与动态媒介研究的理论依据。同时,符号学和语言学也是数字媒体艺术相关媒介理论研究的出发点。而作为数字创意语言、工具和传播载体,计算机科学与技术、软件工程等也是它存在和表达的基础。因此,上述国家一级和二级学科是数字媒体艺术学科构建的理论依托(图1-6)。数字媒体艺术的五个研究领域包括本体研究、方法研究、应用领域研究、史论研究以及民族化研究等。
图1-6 数字媒体艺术学科理论依托
从狭义上看,新媒体艺术设计的研究重点是如何应用数字艺术创作工具,即图形图像软件或编程,根据人的需求和艺术设计规律来创作和表现具有视觉美感的艺术作品或服务业产品,并基于数字媒体时空来延伸和发展人类的艺术创造力和想象力。
数字媒体艺术作为交叉学科,可以说是数字科技、视觉艺术和媒体文化三者的结合。图1-7 阐明目前数字媒体艺术所涵盖的领域,时基媒体设计领域包括数字影视、动画、动态媒介(片头、栏目包装、媒介广告、MTV等)、实验影像、微电影、MTV、数字影视特效、影像编辑等。交互产品设计领域包括网络媒体,其中博客、网络购物、游戏社区、视频网站、电子出版物、多媒体产品、交互设计、信息设计、UI界面设计等属于该体系,其知识体系属于“数据库逻辑”。克鲁福认为:“在叙事逻辑中,控制权在讲故事的人手里,在数据库逻辑中,同时,控制权也在接受者手中,所以是用户控制导向的。”因此,该领域更侧重用户的“需求性”以及“交互性”的研究,包括可用性设计、信息架构、智能化设计、服务设计、认知心理学、原型设计、人机工程学、用户体验、创客模式和社会学—人类学方法等,其中外圆的部分为广义的交互产品设计范畴,这部分和时基媒体设计领域、数字互动娱乐设计领域有许多重叠的区域,如交互动画、交互电影、网络游戏、电子出版物等,内圆的区域为更单纯的新媒体设计领域,如信息与交互设计、智能终端产品设计、网络媒体设计、可穿戴产品设计、装置艺术设计、可视化设计等。
数字娱乐领域的范围比较模糊,主要指电子游戏、网络游戏、装置艺术、增强现实、交互动画、虚拟漫游、虚拟表演、交互墙面等既有“时间媒体”的特征又有“交互性”的特征,并属于更侧重于观众或玩家“体验性”的艺术。这个知识体系属于“对话逻辑”。其进程主要是由互动性而不是由叙事形式所决定的,但这部分内容同样与上述两个领域存在相互重叠区域。而传统媒介延伸领域主要指基于纸媒或户外展示的平面设计、摄影、广告、装帧、插图、漫画、信息导航设计等,虽然这个领域也属于“叙事逻辑”,但往往不呈现时间的依赖特征。而数字设计工具的“高效率”和“丰富性”更为重要。在图1-7 中,数字媒体艺术创作、发布与传播中的计算机创作语言、工具或平台用虚线表示,其与媒介产品设计的重叠可以表示这些创作工具所涉及的领域。
图1-7 数字媒体艺术涵盖领域
数字媒体艺术的构成类似金字塔,它有四个面,每个面分别代表了:技术层面、艺术层面、媒体层面和服务层面。每个层面还有更详细的说明,这个模型的特点在于:通过一种更全面的、多角度的思维来看待数字媒体艺术。这个金字塔中的每个侧面都依赖于其他侧面而存在,相互依托,缺一不可,并形成金字塔的整体构架,也由此形象地体现了数字媒体艺术所具有的“综合性”“实践性” 的特点。此外,这个锥形的结构也反映出了它从社会服务到顶层设计的梯形结构特点(图1-8)。
图1-8 金字塔模型
数字媒体艺术是一种面向未来的艺术形式和服务模式。数字媒体艺术不仅关注界面、风格、色彩和信息传递等设计问题,更关注媒体在服务中的用户体验,建设艺术、媒体与科技相结合的创新平台,并服务于商业社会。由此来看,金字塔的四个层面也就很容易理解了。当然,这个模型不仅是指个人能力,也包括项目团队的人员综合能力。如淘宝网的客服团队就有许多专业的设计师、工程师、市场研究人员,他们将各种新颖的购物体验传递给买家,如虚拟试衣、好评率、搭配商品等。数字媒体艺术同时也是一种科学+艺术+媒介(商业模式)的艺术形式,没有媒介这个重要的环节,科学与艺术的结合就失去了意义。