数据治理体系框架 数据治理体系框架四个要点

发布时间: 5/14/2023 2:22:16 PM 来源: 昔日少年

小怡给大家谈谈数据治理体系框架,以及数据治理体系框架四个要点应用的知识点,希望对你所遇到的问题有所帮助。

1、数据治理大数据湖仓一体开源框架分为4部分: 1、数据源 业务库数据、用户日志、系统日志、爬虫数据 2、构建集群 Hadoop,HDFS,Yarn 3.1 数据采集 数据采集工具:Sqoop、Flume、Canal、Sparkstreaming 3.2 数据预处理 数据预处理工具:消息系统Kafka,宽表工具SparkSql、FlinkSql 3.3数据存储 Hbase数据库集群、Clickhouse 3.4数据挖掘 Spark,Flink 4、数据可视化 FineBI 、PowerBI 开发工具:Intellij IDEA 。

本文到这结束,希望上面文章对大家有所帮助。

相关推荐