Epic：把 datacenter 从「活动业务中台」改造成真正的数据中台 #13

背景

本项目最初目标是做数据中台，现状是"活动业务中台"（微信登录/投票/抽奖问答/搜索，管业务流程）。数据中台管的是数据本身：元数据、口径、质量、服务。差距在领域而不在代码量。

完整调研与路线图：docs/ROADMAP.md

核心结论

1. Go 写管控面（元数据/目录/数据服务 API/标签/指标/AI 编排），开源做执行面（调度 → DolphinScheduler、同步 → SeaTunnel/Flink CDC、计算 → Doris），不自研引擎等效物
2. Phase 1 只做四件事形成最小价值闭环：登记数据源 → 采集元数据/血缘 → 沉淀资产目录 → 配置出数据 API 对外供数
3. AI 问数是元数据工程的复利出口（语义层路线，LLM 不直连生产库）

阶段规划

• Phase 0：地基升级 —— go-zero v1.10.3 / Go 1.26 / MySQL 8.4 / Redis 8 / etcd 3.5 / ES 7.17（详见 docs/UPGRADE.md）
• Phase 1：MVP 闭环（进行中）
  • Phase 1：数据源管理服务 datasource-rpc #14 数据源管理 datasource-rpc
  • Phase 1：元数据管理服务 metadata-rpc #15 元数据管理 metadata-rpc
  • Phase 1：数据服务 API datasvc-rpc（OneService 模式） #16 数据服务 API datasvc-rpc（OneService 模式）
  • Phase 1：资产目录服务 catalog-rpc #17 资产目录 catalog-rpc
• Phase 2：质量 + 指标 + 标签（quality-rpc :8089 / metric-rpc :8090 / tag-rpc :8091，已并入 PR 数据中台全阶段交付：Phase 1-4 七大业务服务 + 安全修复（升级见 #19） #20）
• Phase 3：集成开发 + 调度 + CDC（进行中）
  • Phase 3：调度集成 job-rpc（DolphinScheduler 管控面） #21 调度集成 job-rpc（DS 管控面，执行面需真实实例联调）
  • Phase 3：SQL IDE ide-rpc #22 SQL IDE ide-rpc
• Phase 4：可视化（DataEase 集成）+ AI 问数（语义层 + LLM）
  • Phase 4：AI 问数 ai-rpc（语义层 + 可选 LLM） #23 AI 问数 ai-rpc（AskAndRun 执行闭环）
  • 可视化外挂 DataEase（已入 compose viz profile，docs/INTEGRATION.md）
• Phase 5：商业版清单补全（进行中）
  • Phase 5：数据标准管理 standard-rpc（词根/字典/数据元/标准模型/发布/标准核对） #24 数据标准管理 standard-rpc
  • Phase 5：主数据管理 mdm-rpc（模型/码段/记录/分发） #25 主数据管理 mdm-rpc
  • Phase 5：数据运维与系统日志 ops-rpc（归档恢复/登录日志/审计日志） #26 数据运维与系统日志 ops-rpc

架构原则

• 服务拆分沿用现有 go-zero「网关 + rpc + model」模式，表名 dc_ 前缀 + beid 多租户

• rpc 层纯业务，网关层编排（跨服务依赖由网关 logic 串接）

• 治理能力（元数据/血缘/质量）包住开源引擎：每个同步任务自动登记血缘、挂质量卡点

• Phase 6：补齐商业版剩余模块（进行中）

  • theme-rpc 数仓建模（:8098，已合入 main）
  • security-rpc 数据安全（:8099，已合入 main）
  • tag-rpc 标签圈群（人群圈选/物化，已合入 main）
  • 前端控制台（web/ Vue3+Element Plus+ECharts，102 接口 15 组页面）
  • 演示数据包（docs/demo/ 电商库 4000+ 行 + 15 分钟演示剧本）

• 商业采购级对标调研（docs/ENTERPRISE-GAP.md：20-50 万位真实交付形态、验收硬项 6/7 为零、竞品 AllData/qData 对照、14 模块打分表、商业化路线建议）