美文网首页
数仓建设困惑

数仓建设困惑

作者: 有点胖的瘦子 | 来源:发表于2023-02-09 06:07 被阅读0次

数据分散,急需一个数仓进行统一管理,可喜的是,之前团队有研发过一个小型数仓,虽然只是做了数据简单集中,但是针对当前数据分散的情况也是一个进步,可惜的是用的非java技术栈以及SQLServer数据库服务器,这就产生了两个问题。

问题一:以后如果升级这个数据仓库,加入数据质量检测等能力,基本上就没法做,因为我们的团队几乎都是Java技术栈,并且也无法使用开源项目。

问题二:对于SQLSERVER数据分享模式来说,以后的生态都是Java+Mysql,所有项目接入还的多安装一种驱动,增加了不必要的复杂度

好处也是有的,就是SQLSERVER性能确实可能好一些,对于前期的应用也是足够的,同时,目前看也没有计划短期内进行数仓扩容升级,暂时先用的话,以后再切换到MySQL少,变更成本也不大。就是如果持续在现有平台上投入,就会完成未来迁移成本很高,当然未来也许会直接切换到大数据技术上,所以当前的方案都是临时的。

相关文章

  • 数仓建设困惑

    数据分散,急需一个数仓进行统一管理,可喜的是,之前团队有研发过一个小型数仓,虽然只是做了数据简单集中,但是针对当前...

  • 数仓建设二期规划大纲

    数仓一期建设并上线一段时间,领导安排我考虑一下数仓二期的建设。 一期简介 一期是按照标准数仓模型建设的,主要包括原...

  • 数仓建设规范

    本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段...

  • 数仓建设规范

    1、数仓分层原则 优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要...

  • 数仓模型建设

    为了防止数仓模型的混乱建设需要通过一些约定和规范进行建设。 建设要求 1.统一ods层的建设,一次数据只接入一次,...

  • 企业何时进行数据治理才是最佳时机

    找准数据治理的切入点,是关乎数据治理成败的关键。如果将数仓建设分为数仓雏形阶段、数仓迭代阶段和能力沉淀阶段,数据治...

  • 数仓的命名规范

    词根设计规范 词根属于数仓建设中的规范,属于元数据管理的范畴,现在把这个划到数据治理的一部分。完整的数仓建设是包含...

  • 实时数仓模型设计

    本文参考了部分互联网公司的实时数仓模型,结合目前所掌握的数仓建设的知识,简单介绍一下如何建设一个实时数仓。 一、实...

  • 美团点评 Flink 实时数仓经验分享

    转载:原文地址 实时数仓建设目的 解决传统数仓的问题 实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把...

  • 专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享

    实时数仓建设目的 解决传统数仓的问题 实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把 PPT 黑色的...

网友评论

      本文标题:数仓建设困惑

      本文链接:https://www.haomeiwen.com/subject/vgttkdtx.html