1. 项目概述当数据可视化遇上概念驱动在数据分析和商业智能领域可视化从来都不是一个简单的“画图”问题。它更像是一场对话一场分析师与数据之间、意图与呈现之间的深度对话。作为一名常年与各种数据打交道的从业者我深知其中的痛点你有一个绝佳的分析想法比如想对比两个城市全年的温度变化趋势或者想看看哪个产品的用户留存曲线更平滑。但当你兴冲冲地打开手边的可视化工具时迎接你的往往不是画布而是一堵名为“数据格式”的墙。工具会冷冰冰地要求你的数据必须是“整洁的”——每个变量一列每个观测一行严丝合缝不容有错。于是宝贵的分析时间被大量消耗在数据清洗、透视、计算衍生字段这些繁琐的预处理上真正的洞察探索反而被挤到了最后。这正是传统可视化工作流的核心矛盾工具的“表达能力”与用户的“分析意图”之间存在巨大的鸿沟。用户思考的是“哪个城市更热”、“趋势如何”而工具理解的却是“请提供X轴列和Y轴列”。这个鸿沟需要用户用SQL、Python或者复杂的Excel公式来填补无形中为数据分析设置了过高的技术门槛。最近在IEEE VIS 2023上获得最佳论文荣誉提名奖的研究项目“Data Formulator”为我们提供了一种全新的解题思路。它没有试图去改造现有的图表库而是选择重塑整个创作流程的起点。其核心理念是“概念驱动”让分析师直接用自己脑海中的分析概念如“西雅图温度”、“亚特兰大温度”、“更热的城市”来与系统对话而将背后繁琐的数据转换、重塑、计算工作交给AI智能体去完成。这不仅仅是工具的升级更是一种工作范式的转变将分析师从重复性的数据工程劳动中解放出来使其能更专注于高层次的思考、探索与决策。接下来我将结合自己的实践经验深入拆解这一理念背后的设计逻辑、实现细节以及它对我们未来工作方式的启示。2. 核心理念拆解从“数据适配图表”到“图表理解意图”要理解Data Formulator的价值我们首先要彻底看清现有范式的局限。传统可视化工具无论是Tableau、Power BI还是Matplotlib、Seaborn其底层逻辑都是“基于语法”或“基于图形语法”的。用户需要明确指定将数据中的哪个字段映射到图表的哪个视觉通道如X轴、Y轴、颜色、大小。这套逻辑强大而精确但前提是数据必须已经准备好且结构完全符合图表引擎的要求。2.1 “整洁数据”的陷阱与预处理负担所谓“整洁数据”是一个统计计算领域的经典概念要求数据满足每个变量构成一列每个观测构成一行每个观测单元构成一张表。这固然是进行统计建模的理想格式但对于探索性数据分析而言原始数据很少天生如此。以一个经典的场景为例你手头有一张每日气温表结构如下日期城市日均温(°C)2020-01-01西雅图52020-01-01亚特兰大102020-01-02西雅图62020-01-02亚特兰大12现在你想画一张散点图比较两座城市每日的温度。在传统工具里你需要先将数据“透视”成如下格式日期西雅图温度亚特兰大温度2020-01-015102020-01-02612这仅仅是为了画出散点图。如果你想进一步计算“哪座城市更热”这个衍生字段或者计算“西雅图的7日移动平均温度”你还需要进行额外的列计算。这些步骤分散在数据预处理工具如Pandas, SQL和可视化工具之间不仅流程割裂更要求分析师具备跨工具的编程或脚本能力。对于业务分析师或领域专家来说这个学习曲线是陡峭的它无情地将分析意图的实现与实现意图所需的技术能力捆绑在了一起。2.2 概念驱动将意图作为第一类对象Data Formulator的革命性在于它引入了一个新的抽象层“数据概念”。一个概念就是分析师想要观察或度量的一个实体或属性它可能直接对应原始数据中的某一列也可能是通过计算、组合、推断得出的新属性。在这个新范式中分析师的起点不再是“我有这些数据列我能画什么图”而是“我想探究这些概念之间的关系请帮我可视化出来”。系统的工作流随之反转定义概念分析师通过自然语言“显示西雅图的温度”或提供示例在表格中圈选几个西雅图的温度值来声明他们关心的概念。关联可视化分析师选择或由系统推荐一种可视化类型如散点图、折线图并将已定义的概念映射到视觉通道上。自动实现系统背后的AI智能体结合程序合成与大语言模型理解分析师的意图自动生成必要的数据转换程序将原始数据变形、计算生成符合可视化要求的结构化数据并最终渲染出图表。这个过程的核心优势是“意图保真度”。分析师始终在操作自己思维中的高层概念而不是被底层的数据格式所困扰。系统承担了将高层意图“编译”成底层数据操作指令的复杂工作。这极大地降低了认知负荷让分析师可以像“指挥”一个懂数据的助手一样进行探索。注意这种范式并非要取代传统工具在制作复杂、定制化图表方面的能力而是旨在覆盖数据分析中更常见、更前期的探索性场景。它解决的是“从想法到初版图表”这“最后一公里”的摩擦问题。3. 系统架构与关键技术实现解析理解了理念我们再来看看Data Formulator是如何将其落地的。其系统设计清晰地反映了“人机协作”和“意图翻译”的思想整个架构可以看作一个精密的翻译引擎将人类模糊的概念转化为精确的可执行代码和数据。3.1 四面板交互界面透明化的协作空间Data Formulator的用户界面被划分为四个协同工作的面板这并非随意布局而是为了清晰地呈现“概念-转换-数据-图表”的完整流水线确保分析师在任何环节都保有控制感和理解度。概念架这是分析师意图的“工作台”。在这里分析师通过输入自然语言描述或提供具体的数据示例来定义和创建新的数据概念。例如输入“计算每日温差绝对值”或直接提供几个计算好的示例值。这个面板是分析师与AI进行“需求沟通”的主要场所。图表构建器这是视觉表达的“选择器”。分析师在此选择想要的图表类型散点图、柱状图、折线图等并将“概念架”上定义好的概念拖拽到X轴、Y轴、颜色等视觉编码通道上。这一步明确了“用什么形式展示哪些概念”。表格视图这是数据转换的“审查窗”。当AI根据概念和图表要求生成数据转换程序并运行后产出的新数据表会实时显示在这里。分析师可以逐行检查数据是否正确生成比如“更热的城市”这一列是否准确判断了西雅图和亚特兰大。这是建立对AI输出信任的关键环节。可视化面板这是最终成果的“展示区”。根据前几步的配置最终的图表在此渲染。更重要的是由于分析师意图可能存在歧义系统通常会生成多个可能的可视化方案例如对于“比较趋势”可能同时提供折线图和面积图供分析师选择和调整。这种界面设计体现了“可解释AI”的思想。它不让AI成为一个黑箱而是将它的“思考过程”生成的数据和代码暴露给用户使用户能够介入、验证和引导形成有效的迭代循环。3.2 双引擎驱动程序合成与LLM的珠联璧合系统背后的智能核心由两大技术支柱支撑它们分别应对不同清晰度的用户输入。当用户提供示例时程序合成引擎启动这是“编程示例”技术的典型应用。例如用户想创建“西雅图温度”这个概念他不需要写出完整的筛选逻辑只需在原始数据表中手动选出几个属于西雅图的温度值作为示例。程序合成引擎会像解谜一样分析这些示例值与原始数据表之间的关系逆向推导出生成这些示例的通用规则或程序例如IF 城市列 “西雅图” THEN 返回 温度列。这个引擎擅长解决逻辑清晰、规则相对明确的数据提取和重塑问题其输出具有高度的确定性和可预测性。当用户使用自然语言时大语言模型引擎接管对于更抽象、更依赖领域知识的计算概念如“计算7日移动平均”或“找出销售额的异常峰值”示例可能难以提供。这时用户可以用自然语言描述。系统会调用大语言模型将描述如“标记出增长超过20%的月份”结合当前数据的上下文列名、数据类型生成相应的数据转换代码如Pandas或SQL片段。LLM的优势在于理解模糊的语义和复杂的计算逻辑能够将人类的日常语言“翻译”成机器可执行的指令。实操心得在实际应用中这两种模式常常混合使用。可以先通过几个简单示例让系统理解基本的数据拆分规则再用自然语言指令添加复杂的计算列。这种混合方式能更精准地传达复杂意图。3.3 歧义处理与多方案生成从“精确指令”到“探索对话”数据分析的初始阶段往往是探索性的分析师自己也可能无法一次性精确描述想要什么。Data Formulator在设计上充分考虑了这一现实它不追求“一次命中”而是支持“渐进式明晰”。当用户的概念描述或图表选择存在歧义时例如“展示随时间的变化”既可以指折线图也可以指柱状图或者“比较A和B”可能意味着并排柱状图或散点图系统不会武断地选择一个。相反它会利用其背后的推理能力生成多个合理的可视化候选方案并排展示给用户。这相当于将一次“下达指令”的交互转变为一次“启发式对话”。用户通过浏览这些选项可以更快地明确自己的真实需求——“哦我其实是想看它们之间的相关性那么散点图更合适”。用户选择其中一个方案后系统会记录这个偏好并在后续的交互中学习用户的视觉表达习惯。这种设计极大地提升了工具的探索性和易用性尤其适合非专业可视化背景的用户进行数据探索。4. 实战推演以城市温度分析为例让我们回到开头的城市温度分析案例看看一位分析师如何在没有编写任何转换代码的情况下使用Data Formulator完成从原始数据到复杂洞察的全过程。假设原始数据就是前面提到的“日期-城市-温度”长格式表。4.1 第一步从原始数据中“抽取”概念分析师的目标是比较西雅图和亚特兰大2020年的温度。在传统流程中他需要先做数据透视。而在Data Formulator中他的操作如下创建“西雅图温度”概念在“概念架”面板他选择“通过示例创建”。他在原始数据表的“温度”列中手动点选几个西雅图对应的温度值如5 6 7。系统后台的程序合成引擎立刻开始工作分析这些示例的共同上下文它们的“城市”列都是“西雅图”从而推断出规则并生成一个虚拟的“西雅图温度”概念列。这个列在逻辑上等同于一个过滤器if city ‘Seattle’: return temperature。创建“亚特兰大温度”概念同理他再选取几个亚特兰大的温度示例创建出“亚特兰大温度”概念。检查中间数据此时他可以切换到“表格视图”看到系统已经自动生成了一张新表里面包含了“日期”、“西雅图温度”、“亚特兰大温度”三列。他无需关心透视操作是如何完成的只需确认数据是否正确。4.2 第二步构建可视化并衍生新概念有了基础概念分析师可以开始制图并在过程中随时衍生新概念。绘制散点图他将“西雅图温度”拖拽到图表构建器的X轴将“亚特兰大温度”拖拽到Y轴并选择“散点图”。可视化面板立刻呈现出一幅散点图每个点代表一天可以直观看到两城市温度的分布与相关性。创建衍生概念“更热的城市”观察散点图后他想知道具体哪几天是哪座城市更热。他在概念架中输入自然语言描述“创建一个新列显示每天温度更高的城市名称。” Data Formulator调用LLM理解其意图生成类似df[‘Warmer’] df.apply(lambda row: ‘Seattle’ if row[‘Seattle Temp’] row[‘Atlanta Temp’] else ‘Atlanta’, axis1)的代码并执行。创建衍生概念“西雅图7日移动平均”为了观察趋势他又输入“计算西雅图温度的7日移动平均值。” LLM会生成相应的移动平均计算代码。随后他可以将这个新概念拖入图表构建器与原始“西雅图温度”概念一起绘制成折线图清晰展示平滑后的趋势与每日波动。4.3 第三步迭代与验证在整个过程中分析师可以随时通过“表格视图”检查AI生成的数据确保“更热的城市”判断无误移动平均计算正确。如果发现错误他可以提供修正后的示例或修改自然语言描述让AI重新生成。这种即时反馈和透明化的中间结果是建立用户信任、实现有效协作的基石。通过这个流程分析师完全跳过了使用Python的Pandas进行pivot_table、apply函数计算、rolling移动平均等一系列编程操作。他的注意力始终停留在业务问题温度比较、趋势分析和可视化表达上而将实现细节委托给了AI助手。5. 潜在挑战、局限性与未来展望尽管Data Formulator所代表的概念驱动范式前景广阔但在实际落地和广泛应用前仍需正视一系列挑战。这些挑战不仅关乎技术更关乎人机协作的信任与效率边界。5.1 当前范式面临的挑战概念定义的模糊性与AI理解的偏差自然语言具有天生的模糊性。“展示头部产品”中的“头部”是指Top 5、Top 10还是销售额超过100万的产品LLM可能会基于训练数据做出猜测但这个猜测可能与分析师内心的标准不符。同样通过示例定义概念时如果示例不具代表性或有歧义程序合成引擎可能推导出错误的规则。这就要求工具必须提供极其便捷的验证和修正机制而目前这仍是一个交互设计上的难题。复杂转换的逻辑正确性保障对于简单的筛选、透视AI的准确率很高。但对于涉及多表关联、复杂窗口函数、自定义业务逻辑的计算例如“计算每个客户生命周期内的首次购买后30天内的平均消费额”完全依赖AI生成可靠代码的风险较高。生成的代码可能在边缘情况下出错或效率低下。如何让AI在尝试复杂任务时能主动评估不确定性并向用户请求澄清或确认是一个关键研究方向。可扩展性与性能研究原型通常针对特定类型和规模的数据集进行优化。当面对超大规模数据集、流数据或非结构化数据时当前基于LLM生成代码、再执行代码的流程可能在性能和可行性上遇到瓶颈。将AI的能力与数据库引擎、分布式计算框架更深度地结合是走向实用的必经之路。“黑箱”担忧与信任建立即使提供了生成的代码和中间数据对于不具备编程能力的分析师来说审查代码依然困难。他们最终信任的是图表结果“看起来是否合理”。如何设计更直观的、面向非程序员的“解释界面”例如用可视化方式展示数据转换的流水线或高亮AI决策所依据的关键数据特征是建立长期信任的关键。5.2 向更广阔的分析管道演进Data Formulator的论文作者展望了将其核心理念扩展到整个数据分析管道的愿景。这为我们描绘了一个更具颠覆性的未来工作场景智能数据清洗与整合用户可以说“将‘注册时间’和‘创建日期’两列合并为一个标准的日期时间列并处理其中的空值”AI自动识别列语义、处理格式冲突、填充策略。主动的视觉探索建议系统在理解数据模式和用户已定义的概念后可以主动建议“您已定义了‘销售额’和‘利润率’是否想查看它们按‘产品类别’的分布关系”并直接生成对应的分组散点图或热力图供用户选择。叙事式分析与报告生成用户通过一系列高层指令“先展示整体趋势然后聚焦Q3的异常下跌最后对比各区域复苏情况”AI能够自动组织相应的可视化序列并生成连贯的分析叙述文本草稿。这个愿景的核心是任务导向的自动化。AI不再是一个被动的、等待精确指令的工具而是一个能够理解分析目标、并主动规划和执行一系列低层次步骤的协作伙伴。分析师的角色将更侧重于定义问题、判断方向、验证结果和做出决策。5.3 对从业者的启示与准备面对这样的趋势数据分析师、商业智能工程师乃至所有需要与数据打交道的专业人士可能需要调整和强化以下几项核心能力精准的问题定义与概念抽象能力未来的竞争可能不在于谁更会写复杂的SQL而在于谁能更清晰、无歧义地将一个模糊的业务问题分解和定义为一系列可被AI理解的数据概念和分析任务。这需要深厚的领域知识和逻辑思维。批判性思维与AI输出验证能力对AI生成的结果无论是数据、图表还是结论保持审慎的怀疑态度并掌握一套高效的验证方法。这包括设计合理性检查、利用领域知识进行交叉验证、理解AI可能犯错的模式。人机交互与意图表达技巧学习如何与AI工具进行有效“对话”包括如何提供高质量示例、如何用自然语言精确描述需求、如何解读AI提供的多种选项并给出反馈。这将成为一种新的必备技能。聚焦更高价值的分析活动从繁琐的数据准备工作中解脱出来后分析师应更深入地投入到探索性分析、假设检验、根因分析、策略建议等更具创造性和战略性的工作中去。工具处理“是什么”和“怎么样”而人专注于回答“为什么”和“怎么办”。我个人在实际使用类似原型工具后的体会是它们确实能显著提升初期探索和原型制作的速度带来一种“思维直接驱动图表”的流畅感。然而当分析进入深水区涉及复杂的、非标准化的业务逻辑时我仍然会回归到手写代码的模式以获得完全的控制力和确定性。因此在可预见的未来概念驱动AI工具与传统编程工具的关系更可能是互补而非替代。它们将成为分析师武器库中一件强大的新武器用于快速打开局面、验证想法和沟通洞察而复杂的、生产级的分析任务仍需要传统方法的稳健与精确。关键在于我们如何根据具体场景灵活地选择并融合这两种力量。