fluxars
本站致力于IT相关技术的分享
  文章分类
架构设计 1 后端架构 8 DevSecOps 2 API网关 2 分布式架构 4 分布式系统 2 软件架构 1 工程化实践 1 可观测性 3 数据架构 1 云原生 1 前端工程 1 客户端架构 1 数据工程 2
使用 Go Echo 构建从 SQL Server 到数据湖的 CDC 实时入湖网关 使用 Go Echo 构建从 SQL Server 到数据湖的 CDC 实时入湖网关
我们团队维护的一个核心业务系统，其 OLTP 数据库是 SQL Server。过去，数据分析的需求一直依赖于 T+1 的 ETL 批处理任务，每天凌晨将数据抽取到数据仓库。随着业务对实时性的要求越来越高，这种小时级甚至天级的延迟变得无法接受
2023-10-27 数据工程
Go Echo 数据湖与仓库 SQL Server CDC Debezium
使用Haskell构建类型安全的OLAP查询层并对接Solid.js实现海量数据渲染 使用Haskell构建类型安全的OLAP查询层并对接Solid.js实现海量数据渲染
我们面临一个棘手的问题：业务方需要一个高度灵活的数据探索界面，能够对数仓中数十亿行的日志数据进行即时聚合、筛选和分析。现有的BI工具要么过于笨重，要么无法满足定制化的查询需求。而自研方案最大的痛点在于前端和后端之间那条脆弱的、基于字符串拼接
2023-10-27 数据工程
Data Warehouse Solid.js Haskell OLAP Full-stack