当 UX 和机器学习遇见音乐创作

当 UX 和机器学习遇见音乐创作

作者 / Clair Kayacik, UX Researcher, Google

联合作者 / Signe Nørly, Design Lead, Google Research

本文旨在描述一次长达三个月的跨团队合作,用户体验小组 (UXers) 和机器学习 (ML) 科研人员联手打造出了一款实用的作曲工具软件。这个过程中我们必须感谢参与的音乐家们的指点和建议。也正是由于这次合作,我们 (UXers) 从中了解了围绕人工智能技术进行设计的知识,以及跨学科协作的经验。

沟通是关键。

毫无疑问,在打造人工智能模型以及基于 AI 的系统这件事情上,科研人员一直都是主角。但科研人员们通常欠缺用户体验设计方面的技能,所以难以将 AI/ML 的优势糅合进一款面向消费者的产品之中。

所以,Google 的 People and AI Research (PAIR) 启动了一项为期一个季度的轮换计划,将 UXers "安插" 进科研人员团队里。设计师们协助科研人员打造以用户为核心的,体验友好的 ML 模型和产品;而与此同时,他们也获得了有关 ML 应用研究的知识。这次轮换中积累的经验为 PAIR 推出《People + AI 技术设计指南》提供了助益,并且设计师和科研人员都通过这次轮换项目磨练了跨技能团队协作的能力。

  • People + AI 技术设计指南
    https://pair.withgoogle.com/

这次轮换由 Magenta 主持,该团队一直都在探索将深度学习应用于音乐与艺术创作领域的方法。Magenta 在学术界和艺术圈都颇为知名,他们发表了许多学术文章,同时也为那些熟悉代码的音乐家们提供丰富的开源资源。他们还努力为普通受众制作有趣的小型数字音乐和艺术玩具,例如 NSynth Sound Maker (与 Google Creative Lab 合作推出):

当 UX 和机器学习遇见音乐创作

△ NSynth Sound Maker

  • Magenta
    http://g.co/magenta

NSynth Sound Maker 基于真实的 ML,但它更像是玩具而不是工具。如果您想要创建更复杂的东西,就必须使用代码和命令行来驾驭更为复杂的 Magenta ML 模型。这种技术的门槛导致 Magenta 核心工具的受众面被大大缩小,而这显然不是 Magenta 团队想要的结果。

这种时候就轮到 UX 团队解决问题了。我们的任务是: 创建一个直观、实用的音乐创作工具,名叫 "Magenta Studio",同时强调出 Magenta 的机器学习技术特性。


了解用户

想要为 Magenta Studio 产品奠定以用户为核心的坚实基础,我们需要深入了解用户的音乐创作流程。通过用户调研,了解他们的音乐创作过程、愉悦感来源和痛点诉求等相关信息,我们基于 Triptech 方法进行了早期设计概念评估,并在这个过程中绘制了许多套三格故事板。
当 UX 和机器学习遇见音乐创作
△ 其中一套 Triptech 三格故事板
  • Triptech 方法
    https://dl.acm.org/citation.cfm?id=3299061

共同创造

我们选定了一群加州艺术学院的师生,他们对 Magenta 的作品感兴趣,并且符合我们的目标受众定位。我们要求他们基于我们故事板里的场景设计自己的产品解决方案,并给出了提示帮助他们上手进行设计。

其中一个提示是,"当您需要有关音乐的建议或想法时,会去找谁?这个人的哪些特质或技能会让想一再找他/她提供建议和想法?" 由于许多加州艺术学院的参与者没有 ML 的背景知识,因此在涉及到 ML 的场景时,我们建议他们类比 "找人询问" 的感觉。

当 UX 和机器学习遇见音乐创作

△ 参与师生给出的一些设计概念

当然,我们在这次互动中的收获不止上面这些 "设计概念" 以及附加的诸多定性数据。我们的故事板也为团队中的科研人员提供了和用户群体面对面沟通的契机和基础 (有些科研人员是第一次直接和用户进行沟通)。这些沟通让科研人员与客群建立了联系,在他们心中建立起了同理心,并对用户需求产生了更深入的了解。这也使他们重新思考自己的工作方式,并希望在今后的长期工作中加大用户研究的比重。

成果

Magenta 创建并发布了 Magenta Studio,包含了一整套基于用户研究和体验设计打造的 ML 音乐模型。

当 UX 和机器学习遇见音乐创作
  • Magenta Studio

    https://g.co/magenta/studio


另外一个超赞的成果,就是设计师和科研人员都对彼此的工作有了真正的理解,并会将这些理解带入下一轮产品的开发中。

在为期三个月的轮换过程中,我们 (UXers) 学习到了如何围绕 ML 进行设计,以及如何在该领域进行跨技能协作。所有的这些经验后来都汇聚到了《People + AI 技术设计指南》中,这里我们提前分享一些设计和沟通方面的经验给大家。


设计方面的注意事项

我们的设计工作分为概念、设计和用户测试三个大阶段,并确定了 5 个关键注意事项:

1. 借力既有的心理模型
用户的心理模型代表他/她对一个概念或系统的思考方式。我们发现在探索基于 ML 的产品设计时,思考人们在没有 ML 的情况下如何解决问题会很有帮助。他们当前的非 ML 解决方案可能会帮助我们设计出新的 ML 解决方案,而且也能让用户更容易理解和掌握它。

2. 透明度

如果设计没有如实地表述出系统的工作机制,那用户会自己开发出一套心理模型来解释这个系统,而这套模型可能并不准确!这会影响到用户对系统的信任。使用创新的用户界面时,对用户输入的内容会被如何处理这件事情一定要保持透明,这样用户才会放心地把自己的创作成果交托给产品。

3. 增强而非自动化

用户倾向于享受创造和产出内容的过程,付出努力也是创造过程的一部分。当用户与增强其创作能力的 ML 系统联手工作时,最有可能产生成就感和自豪感。而如果滥用自动化,企图为用户代劳一切事情,可能会适得其反。

4. 错误处理

有时 ML 模型会失败。在 Magenta Studio 中,失败可能是指给出的音乐建议听起来没有太大意义。由于艺术品味是主观的,因此创作工具更有可能无法达到预期的效果。一位音乐家不喜欢的东西,可能会激发另一位音乐家的想法。在构建 ML 系统时,很有必要在产品中加入一些控件,以允许用户对输出结果进行纠正。

5. 反馈机制

让用户能够在模型的输出成果不及预期时提供反馈,这是一种很好的做法,可以改进模型,也能更好地为用户生成个性化的内容,并提高用户的满意度。

沟通方面的注意事项

在和我们的科研伙伴们合作的过程中,我们发现下面 4 个策略颇有助益:

1. 务实沟通

从一开始就让大家看到彼此工作的真实产出物十分重要,这有助于让大家对团队新成员的工作有更直观的了解,并建立共情,同时还可以为最终产出物设定更务实的期待值。

2. 理解流程

对于工作流程,尤其是时间表,一定要充分沟通,确保大家都能理解并认可。用户体验调研、新 UI 的视觉调性、训练 ML 模型……等等等等,每一项工作要花多久?提前了解项目的关键工作需要花费的时间,这样能让整体的时间表更加务实且精准。

3. 设计冲刺

大家都参与进设计冲刺中,可以帮助团队成员在同一信息层级上了解项目的目标和时间表,分享共同创造令人惊奇的事物时带来的兴奋感和亲密感。这种高密度的协作能带来知识、信息和情感的高度同步。(不要关起门来干活!)

4. 尽早引入设计
这一开始其实是一个教训: 我们的团队在理解一个 ML 功能时出现了一些误会,导致接下来的 UI 不符合 ML 模型的功能。这种错误虽然常见,但也不难避免。请在尽可能早的时间点给出低保真的设计草图,并彻底讨论和理解 ML 模型的训练、输入以及输出。沟通到什么程度为好呢?我们的建议是: 让 UXers 能用自己的语言准确描述出 ML 模型的特性和功能。

您的产品在引入机器学习时,是该强化用户的创意还是该为他们代劳?这取决于产品本身的设计和使用场景。您对 AI/ML 设计有什么想法或者经验?欢迎在评论区和我们分享。


当 UX 和机器学习遇见音乐创作 点击屏末 |  | 进入 People + AI 技术设计指南
当 UX 和机器学习遇见音乐创作
当 UX 和机器学习遇见音乐创作

  想了解更多 Google Play 内容?

  • 在公众号首页发送关键词 "Google Play",获取相关历史技术文章;

  • 还有更多疑惑?欢迎点击菜单 "联系我们" 反馈您在开发过程中遇到的问题。

推荐阅读

当 UX 和机器学习遇见音乐创作


当 UX 和机器学习遇见音乐创作