根据 2020 年 Microstrategy 的一项调查，94% 的企业表示数据和数据分析对其增长战略至关重要。然而，令人惊讶的是，企业收集的数据中有多达 73% 从未使用过，包括绝大多数所谓的“分类数据”。

为什么企业会忽略一整类数据？尤其是当它对个性化、客户 360、欺诈检测和预防、网络性能监控和供应链管理等高优先级用例至关重要时？

简单的答案是，在当今的工具中使用分类数据很复杂，而且大多数数据科学家都没有接受过使用它的培训。弄清楚如何使用分类数据将帮助公司解决长期以来一直逃避的复杂问题。他们将能够使用他们已经拥有的数据来做到这一点。

下面看一下分类数据，为什么它很难争论，以及它如何有用。

分类数据 101

有两种主要类型的数据：分类数据和数值数据。数值数据，顾名思义，是指数字。分类数据就是其他一切。

顾名思义，分类数据描述了类别或组。

分类数据的一些示例可能是：

• 最受欢迎的婴儿名字列表；
  

  
  

  分类数据是两种主要数据类型之一 (Tee11/Shutterstock)

• 人口普查数据，例如公民身份、性别和职业；
• 身份证号码、电话号码和电子邮件地址；
• 品牌（奥迪、奔驰、起亚等）。

在某些情况下，分类数据可以是分类数据和数字数据。例如，天气可以归类为“60% 的可能下雨”或“部分多云”。两者对我们的大脑意味着同样的事情，但数据采用不同的形式。

分类数据的挑战

使分类数据如此强大的同一件事使其具有挑战性。虽然你和我很容易区分狗和飞机与狗和猫之间的相对差异，但在计算上做到这一点并不那么简单。

要表达两个分类数据之间的差异，必须使用基于图的分析工具或具有图论背景。这就是为什么“知识图谱”一直是最近的热门话题。

由于图形工具在当今的企业和学术环境中并没有那么普遍，因此数据科学家转而依赖他们所知道的并且有现成工具的统计技术。大多数机器学习算法只能处理数值数据。他们可以计算具有真实但有限实用性的分类数据实例。另一种选择是使用几种编码技术之一将分类数据转换为数值。这些技术都趋于缓慢并且产生较差的结果——甚至使某些目标成为不可能，例如异常检测。

图表可用于对分类数据进行分组 (Andrii-Yalanskyi/Shutterstock)

使用分类数据带来了另一个挑战：高基数。基数是指特定类别的可能值的数量。例如，所有 iPhone 型号列表的基数是相对易于管理的 34。另一方面，自生产开始以来售出的所有 22 亿部 iPhone 的序列号列表代表了一个高基数数据集。

传统分析方法的规模和复杂性在高基数数据下迅速失控。此外，几乎所有用于将分类值转换为数字的工具（如 one-hot 编码）都需要预先知道一组固定的可能值。由于一些高基数数据值是未知的，这会带来一个问题，因为这些工具无法表示他们从未见过的数据。

面对所有这些挑战，您可以开始理解为什么企业最终会完全忽略分类数据。

那么，你可以用分类数据做什么？

分类数据对企业的巨大和未实现的价值在于它能够以人类易于理解和表达的方式表示价值之间的关系。

这些关系可以包括与一个对象相关的所有属性——我高、金发、已婚和有两个孩子——或者两个对象之间的关系——我写了这篇文章，你正在阅读这篇文章。

您可以使用分类数据有效地对对象类别进行分组和连接；例如，您可以显示所有高个子、金发碧眼、已婚的作者及其按地理区域和爱好组织的文章的读者。通过这样做，您可以发现一些独特的见解和分析。

当你将这种“关系思维”与计算机处理大量数据的能力结合起来时，分类数据的惊人威力就显而易见了。

图技术的优势

随着近年来图技术的出现，企业终于可以直接表示这些关系了。

图由节点和边构成；你可以用圆圈表示节点，用箭头表示连接节点的边。节点-边-节点模式通过边表示的关系连接两个分类值（节点）。这是一种表示数据的自然方式，因为节点-边-节点模式与自然人类语言核心的主语-谓语-宾语模式完美对应。因此，您可以用文字表达的任何内容都可以自然地在图表中表示。然后我们可以通过跟踪图表中分类数据之间的联系来分析值之间的关系。

使用分类数据的挑战就像拥有一个储藏室的罐头食品而没有开罐器。那里有食物，但你没有工具可以获取它。下一代流图数据工具需要使分类数据更易于访问和使用，而不是使用相同的方法查看相同的数据。我们已经将分类数据的成功视为改进网络安全异常检测的关键。但是直到现在，使用这些数据来解决具有挑战性的问题的工具才变得可用。

关于作者： Ryan Wright 是thatDot的创始人兼首席执行官，二十年来一直领导专注于数据基础设施和数据科学的软件团队。他曾担任 DARPA 资助的研究项目的首席工程师、工程总监和首席研究员。