大数据平台架构设计什么的思想

平台架构设计沿袭了分层设计的思想,将平台所需提供的服务按照功能划分成不同的模块层次,每一模块层次只与上层或下层的模块层次进行交互(通过层次边界的接口),避免跨层的交互。

1. 服务化的本质思想

服务化的本质思想是帮用户解决问题,是"为人民服务"的态度在你的平台中的具体化体现。产品化,关注业务价值和用户体验,将服务打包成可营销的产品。平台也需要具备服务意识和产品思想。

2. 架构拆分思想

架构拆分思想是将原本庞大的数据端处理过程拆分成多个可控模块,使系统更加灵活,容错性更高。通过拆分数据端到达kafka的过程,能够满足不同业务需求。在未清楚业务系统需求的情况下,设计出来的拆分过程可能会变长,但能满足业务需求。

3. Flume的设计思想

Flume之所以出色,是因为它的设计思想。Flume采用agent设计,将Java进程运行在日志收集节点上,使得日志收集节点服务器节点能更好地工作。Agent包含3个核心组件,确保了Flume的高效运行。

4. 平台整体架构设计

平台整体架构分为七大部分,包括目录管理、数据集成、数据资产管理、数据治理、数据开发、数据仓库架构设计和批处理任务。这些部分相互协作,构成了一个完整的平台。

5. 数据仓库架构设计

数据仓库架构设计涉及一些基本概念和设计思想。首先是ODS层,是操作性数据存储的层次,充分面向问题。还需要设计数据存储的物理架构,考虑开发中涉及到的数据库和实体模型。代码架构应提供切实可行的指导,为开发人员提供方向。

6. 平台架构设计的基本原则

平台设计应遵循一些基本原则。这些原则包括模块化设计、高可用性、可扩展性、安全性和性能。通过遵循这些原则,可以确保平台的稳定运行和高效工作。

以上就是关于平台架构设计的主要思想和相关内容的介绍。通过对平台的服务化思想、架构拆分思想、Flume的设计思想、整体架构设计、数据仓库架构设计、基本原则等方面的理解和实践,可以构建出高效稳定的平台。