写给数据产品经理新人的工作笔记｜09 必须了解的数据技术基础知识

作者: 是杰夫呀 | 来源:发表于2022-08-08 21:01 被阅读0次

无论这些组件的排布方式是什么，数据平台需要解决的问题都是一致的。

·数据采集：日志采集和数据同步；

·数据清洗和预处理：涉及一系列的规则，本质也是ETL过程；

·数据的存储：海量的、稳定的存储；

·数据的离线计算和实时计算；

·输出方式：接口和自助查询；

·系统具备相对高的性能和稳定性；

·数据安全和权限管理。

总体来说，就是要达成“在‘满足需求’和‘节约资源’之间，找到一个最合理的产品方案”这一目标。

从具体来源上区分，互联网公司的数据源通常可以分成3种：C端产品（网站、App、小程序）、后台系统（业务系统、财务系统等）、外部（广告公司、外部数据报告、第三方标签库等）。

·用户行为采集。采集的是用户在前端的行为日志或其他事件产生的日志。对应的技术原理涉及埋点和无埋点等概念。

·后台系统数据接入。接入的是在业务过程中后台系统产生的数据。涉及的技术方案主要是数据的接入、同步、交换。

1．针对浏览器：基于JaveScript的数据采集

JaveScript采集代码可以分为基础代码和行为采集埋点，基础代码对应的是PV日志，每个页面只需要统一写入一小段即可。埋点对应的是交互行为日志

2．针对App：基于采集SDK的数据采集

以上两种采集方法主要有3个区别。

（1）涉及上报规则问题。

（2）涉及更复杂的交互过程。

（3）Android和iOS之间存在较大的系统差异。

网友评论

本文标题：写给数据产品经理新人的工作笔记｜09 必须了解的数据技术基础知识

本文链接：https://www.haomeiwen.com/subject/ynvgbrtx.html

写给数据产品经理新人的工作笔记｜09 必须了解的数据技术基础知识