数据成本管理

数据成本问题主要可以分为两大类问题：数据加工的资源浪费，数据存储的资源浪费。

数据加工的资源浪费的问题主要包括一些数据加工任务使用价值低或者未使用、一些表重复加工、数据倾斜和配置不合理导致空占大量资源，这些问题都会浪费大量计算资源。另外资源调度周期的不合理会导致许多时间段大量的计算资源是闲置的。

数据存储的资源浪费的问题主要包括过期数据未定时处理、数据未压缩、重复创建表，这些问题导致存储资源被浪费。

数据成本管理流程：

1.首先通过数据血缘建立资产全局视图，并进行成本和价值计算。
计算末端数据的成本主要是上游所有依赖的任务和所有存储的表。被多个下游所应用则需要分摊成本。
计算数据价值主要分为三类：用于出报表则根据使用人群和使用次数去衡量。数据应用则考虑数据应用价值。做数据探索的则依据分析师人员和使用情况去衡量。

2.归类问题
包括未使用的数据、价值低的数据、高峰期高消耗的数据。

3.成本治理
对于未使用的数据这类造成资源浪费的末端任务，进行下线，一直到所有末端任务都符合要求。
对于价值低的数据需要确定是否有必要继续使用，如果没必要也进行相应下线。
针对资源消耗高的任务做改进：处理数据倾斜的任务，优化任务的配置参数，迁移非重要的任务到低峰期，
针对存储消耗高的数据做改进：压缩上小文件不做split可以用gzip，大文件支持split可以用lzo。对于一些汇总表和维度表做定期清理。

4.评估治理效果
通过查看下线的任务和数据而节省了多少高峰期使用资源和存储空间，从而得出节省出来的费用。

然后可以通过建设数据成本系统，查看资源的使用和存储空间情况，数据相关使用、成本和数据应用情况，并提供数据下线管理。