问“what kind of data”,本质上是在问数据的分类维度。
同一份数据按不同标准可以归入不同类别,先明确维度,再谈类型,才不会被术语绕晕。
以下从四组常用维度展开,并说明各自的适用边界。
一、结构化、半结构化与非结构化这是最常被引用的一组分类,依据是数据是否具有预定义的模型和固定格式。
结构化数据:有固定字段和类型,可直接映射为行与列,适合统计汇总与关联查询,典型如表格中的数值、日期、编码字段。
半结构化数据:有一定组织标记但字段不固定,如带标签的文本、日志、配置文件,解析后可用,但模式常需推断。
非结构化数据:无固定模式,如图像、音频、视频、自由文本,通常要先抽特征或转写才能分析。
常见误区是把“非结构化”等同于“不能分析”。
实际上非结构化数据经预处理后可转为结构化特征,只是成本更高、链路更长。
适用边界在于:字段稳定、需要精确聚合时优先结构化;内容形态多样、模式多变时接受半结构化或非结构化,并预留清洗环节。
二、原始数据与加工数据按加工程度可分为原始数据、清洗数据、汇总数据和派生指标。
原始数据:采集后未经修改,保真度高,但含缺失、重复与异常。
清洗数据:经去重、补缺、纠错,适合直接进入分析流程。
汇总数据:按维度聚合,便于看趋势,但会损失个体细节。
派生指标:由多个字段计算得出,口径必须写清,否则跨表对比容易失真。
边界在于可追溯性:越是加工后的数据,越要保留口径说明与生成逻辑,否则无法复核。
具体字段口径与计算方式,以包装背标或官方信息为准。
三、定量与定性定量数据以数值表达,可做统计检验与建模;定性数据以类别、文本、标签表达,重在归纳含义与模式。
二者不是高低关系,而是回答的问题不同:定量回答“多少、多快”,定性回答“为什么、怎样”。
适用边界是样本规模与问题目标,小样本深访适合定性,大范围比较适合定量,混合使用往往更稳。
四、一手与二手按来源可分为一手数据与二手数据。
一手数据为特定目的直接采集,针对性强但成本高;二手数据为既有资料,获取快但口径未必匹配当前问题。
使用二手数据前应核对采集时间、样本范围与定义方式,避免把不同口径的数据直接拼接比较。
五、判断数据类型的实操步骤先问目的
要描述现状、解释原因,还是预测结果。
再看形态:字段是否固定,内容是数值还是文本、图像。
核查加工程度:是否为原始采集,是否经过清洗与聚合。
确认口径:指标定义、时间范围、样本边界是否写明。
评估可用性:缺失率、更新频率、获取成本是否可接受。
把这五步走完,再回答“what kind of data”,结论才站得住。
需要提醒的是,不同场景对同一数据的归类可能不同,分类服务于使用目的,而非固定标签;涉及具体规格与定义时,以包装背标或官方信息为准。