通过本文,我尝试着尽可能通俗地去解释一下智能设计背后的一些功能、技术理念、技术思维和简单的技术方案。美团斑码项目实际上起源于设计需求和设计供给方面的严重失衡。
近年来可以很明显地看到,不管是内容平台还是电商平台,都有以海量的商品信息为重要载体对用户做有效的流量分发的核心模式。在这种模式下,像海报落地页等商品信息的重要载体,其产量和产效都面临着非常大的压力。
于是,随着AI技术的迅猛发展,我们开始利用一些AI的思路去尝试提效,去更好地实现商家赋能和商品运营。
banner制作是比较复杂的过程,包括设计背景、商品、修饰元素,例如文案、利益点、按钮等。为了模仿设计师日常的设计过程,用算法主导自动设计一套banner,可以尝试用一种叫“AI写诗”的思路来解决问题。
关注AI发展的朋友可能听说过AI可以写诗、写演讲稿、创作音乐,那么在设计场景下,它们的共性在哪?实际上共性在于“序列”两个字。大家可以这么理解:文本是字或词组合出来的,音乐是音符或者音阶组合出来的。而banner设计实际上也是有序列性的,可以看成是不同图层组合出来的。
上述工作可以用深度循环神经网络完成,这其实在学术研究中是非常普通的方法。以商品和文案为出发点,模型会按序列生成一张张的图层,同时决定图层的属性甚至位置。
除了这种序列的思考,在设计过程中,有时我就特别想用某个素材或者某几个素材,需要其他的素材搭配。这时可以用一些搭配的方法,例如双塔模型去完成。当指定某几个偏好素材后,模型可以快速并且高效地在素材库中选择一些合适的素材,与已经选定的素材进行搭配,快速产生定制化的设计。现在的模型可以对原有的人工主导的设计过程产生较高的效率提升,同时在很多个场景下也有较好的应用。
除了banner这种复杂的设计,千人千面的要求也离不开千人千面的素材,这就涉及智能抠图能力。我们自行研发制作了许多以餐饮类型的商品为主体的图像分割工具,因为美团外卖毕竟是做餐饮类业务的。在此基础之上,可以把人工的半交互以及全自动的技术应用于海量的素材生产需求。实际上,在这种完整的抠图技术之外,基于对业务的考虑,我们还加了一些图片的质量评估,例如选择一些优质的图片进入模型库,同时在沟通模型产出结果之后,会有智能的审核过程代替人工的审核。对于餐饮类的图片来讲,自动的质量评估在全自动生产环境下,可以达到95%以上的合格率。
下面介绍智能文案配色。文案在海报中能起到吸引点击的作用。我觉得文案要满足三个条件:第一是可读易读,第二是美观和谐,最后是要吸引用户产生情感的共鸣。
前两点可以通过一些规则化的设计,复现设计师常用的手法和规则和理念。对于最后阶段的情感共鸣,我想重点和大家分享一下。可以和我一起思考,听到冬天、夏天、中秋节、端午节,脑海中第一浮现的颜色是什么?设计师们一定有自己的看法,那么得出这种结论的依据是什么?我们尝试从数据分析和数据挖掘的角度,还原并分析这个过程。
例如,我要设计圣诞节主题的海报,首先会在网络上抓取大批量的和圣诞节语义相关的图片,然后分析图片的颜色分布,最后用聚类分析得出圣诞节的常用色,达到情感的共鸣。当指定了文案之后,我们能分析文案背后的关键词以及它所表达的内容主题,通过一些在线或者离线的数据分析和数据挖掘技术,给用户提供比较合适的配色方案。
完成了这种设计的供需不平衡问题之后,我们又把目标转移到商家的运营方向。外卖商家和其他电商平台的商家有什么不同?其实最大的不同在于,外卖商家平时更多的时间要花在生产和履约上。这就导致一些商家,尤其是中小商家,在运营方面付出的时间和精力比较有限。那么相对于外卖商家来说,有没有运营的诉求?
大家在一些电商平台上可以看到很多外卖商家的第三方代运营公司,这就恰恰表达了外卖商家实际上对运营是一定有诉求的。对于商家来说,纯视觉的设计并不能完全满足商家的全部诉求。于是我们想到可不可以在内容的设计上为商家提供一些帮助?例如,帮助商家做套餐的设计、做商品卖点的设计,甚至做商品内容的展示形态设计。
在外卖的场景下,用户下单多数并不是单品下单,而是组合下单。那么,怎样去契合用户的需求,做打包售卖?我们会帮助商家设计更好的套餐,这不仅帮助商家节省了套餐设计的时间,同时也加快了用户做决策的时间。
因为外卖的特点,用户进入到外卖的场景之后,基本上在5分钟之内就会完成浏览和决策的过程。在这种情况下,怎样快速帮助商家展示商品信息、卖点,更加高效地去契合用户的诉求?我们给商家提供了简单高效的设计工具和模板,商家可以快速为商品匹配卖点和销售信息。如果商家还没有时间做这方面的设计,能不能利用一些算法帮助商家完成?
我们想到可以从用户的评论里自动生成推荐的文案。通过抽取描述的商品、描述的维度以及特点,甚至一些配送的信息,从真实的评价数据里面进行分析,从菜品及口味等维度,帮商家做全自动的推荐理由以及商品文案的设计。
不管是电商平台,还是以短视频为核心的内容平台,内容多元化是大家避不开的发展趋势,我们需要产生更多样的内容和各种模态的信息,从多个方面、多个角度描述商品。
例如,对于商家的自有视频,可以做什么样的工作?可能需要把它做成两秒或者3秒的动图和片段。怎样选择3秒的时间段,在首页曝光的时候,起到足够的吸引用户点击的作用?我们会利用算法对整个长视频的内容做分析,根据对内容的理解,把它做成多种格式、多种分辨率、多种时长甚至多个内容的分解,再到前端结合用户画像和用户需求,进行个性化的投放。
一方面,这些工具其实并不是想去替代现有的第三方公司,而是希望和第三方的运营公司以及商家一起产生互惠互利、合作共赢的结果。另一方面,从底层意义上来讲,这些工具也是算法、设计和用户行为三者的有机结合。新的设计行为产生了新的算法,新的算法产生了新的用户行为的数据,用户行为的数据又可以反哺算法以及设计的理念和原则。
作为技术人员,在与设计师合作的过程中也有一些感悟和经验。在合作初期,其实技术人员与设计师会有一些比较深入的交流和互通,例如技术人员会给设计师讲算法,设计师也会给技术人员讲设计的原则和理念。所以,这其实是换位思考和互相理解的过程,也是技术与设计之间的平衡。
另外,设计师的工作不仅仅是人工的工作,实际上设计师提供了设计的框架,确定了设计的方向。如果没有设计框架和方向,对于算法的发展和迭代有可能像无头苍蝇,可能要过很久才能摸到正确的方向。有的时候定好问题,问题就已经解决了50%。这就需要设计师和技术人员共同分析问题、拆解问题、量化问题,这样接下来才有算法的发展空间。
最后就是用数据说话,这在美团内部应该算得上是价值观。我个人认为好的设计方法和设计理念,不仅仅要能经得起用户体验和人的考验,同时也应该经得起数据的考验和结果的考验。
美团外卖 智能设计平台(斑码)技术负责人
美团外卖智能设计平台(斑码)技术负责人。博士毕业于北京科技大学,曾就职于搜狐,负责多媒体技术研发工作。2017年加入美团外卖,目前主要负责美团外卖图像和视频内容的挖掘、生成、编辑等方面的相关工作,致力于图像相关技术的积累及落地,见证和推动了外卖设计从人力驱动到数据驱动,一步步走向智能化的过程。