StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performa
在机器学习(ML)中，ensemble方法，如bagging、boosting和stacking，是广泛建立的方法，通常可以实现*的预测性能。stack(也称为“stack generalization”)是一种集成方法，它组合了至少在一层中排列的异构基础模型，然后使用另一个元模型来总结这些模型的预测。虽然这可能是一种提高最大似然估计预测性能的高效方法，但是从头生成一堆模型可能是一个繁琐的试错过程。这一挑战源于可用解决方案的巨大空间，具有可用于训练的不同数据实例和特征集、可供选择的若干算法，以及使用根据各种度量表现不同的不同参数(即模型)的这些算法的实例。在这项工作中，我们提出了一个知识生成模型，它支持使用可视化的集成学习，以及一个用于堆叠概括的可视化分析系统。我们的系统StackGenVis帮助用户动态调整性能指标，管理数据实例，为给定的数据集选择最重要的功能，选择一组性能最佳的不同算法，并测量预测性能。因此，我们提出的工具帮助用户在不同的模型之间做出决定，并通过移除过度配置和性能不佳的模型来降低最终堆栈的复杂性。StackGenVis的适用性和有效性通过两个用例得到了验证:一个真实的医疗保健数据集和一组与文本中的情感/立场检测相关的数据。最后，通过对三位ML专家的访谈，对该工具进行了评估。
Contribution
- the composition of a knowledge generation model (KGM) specifically adapted for ensemble learning with the use of VA;
- the implementation of a VA system, called StackGenVis, that follows the KGM mentioned above, consists of novel views that treat models and predictions as high-dimensional vectors, and supports the visual exploration of the most performant and most diverse models for the creation of stacking ensembles;
- the applicability of our proposed system with two use cases, using real-world data, that confirm the effectiveness of utilizing multiple validation metrics and comparing stacking ensembles; and
- the discussion of the followed methodology and the outcomes of several expert interviews that indicate encouraging results
Related Work
- Bagging and Boosting
- Buckets of Models
DESIGN GOALS AND ANALYTICAL TASKS
Design Goals: Visual Analytics to Support Ensemble Learning
- G1: Incorporate human-centered approaches for controlling ensemble learning.
- G2: Support exploration
- G3: Support verification
- G4: Facilitate human interaction and offer guidance
- G5: Reveal and reduce cognitive biases
Analytical Tasks for Stacking
- T1: Search the solution space for the most suitable algorithms, data, and models for the task
- T2: Explore the history with all basic actions of the stacking ensemble preserved
- T3: Manage the performance metrics for enhancing trust in the results
- T4: Compare the results of two stages and receive feedback to guide interaction.
- T5: Inspect the same view with alternative techniques and visualizations.
STACKGENVIS: SYSTEM OVERVIEW AND APPLICATION
USE CASE
在这篇文章中，我们介绍了一个交互式的可视分析系统，称为StackGenVis，用于在stacking ensemble学习中对齐数据、算法和模型。对已有知识生成模型的调整使我们能够实现稳定的设计目标和分析任务，这些目标和任务是由StackGenVis实现的。通过仔细选择多个协调视图，我们允许用户从头开始构建有效的堆叠集合。从不同的角度探索算法、数据和模型，并跟踪培训过程，使用户能够确定如何继续开发复杂的模型堆栈，这些模型不仅需要最佳性能的组合，还需要最多样化的单个模型。为了检索StackGenVis有效性的初步结果，我们用真实数据集展示了用例，这些用例展示了性能的改进和实现它们的过程。我们还通过专家访谈评估了我们的方法，检索了关于我们系统的工作流程、交互式可视化和我们方法的局限性的反馈。这些限制随后被确定为我们系统进一步发展的未来工作。