归档: 2023/10

2023

10

27

一个请求的生命周期不应该超过500毫秒，但在我们的系统中，一个核心的财务报表生成API平均耗时达到了30秒。这个接口承载着同步的数据聚合、计算和PDF生成逻辑，它成为了整个单体PHP应用的性能瓶颈。在高峰期，PHP-FPM进程池被完全占满，

2023-10-27 后端架构

Google Cloud Pub/Sub Scrum PHP GCP GKE 框架与库

27

我们团队维护的一个核心业务系统，其 OLTP 数据库是 SQL Server。过去，数据分析的需求一直依赖于 T+1 的 ETL 批处理任务，每天凌晨将数据抽取到数据仓库。随着业务对实时性的要求越来越高，这种小时级甚至天级的延迟变得无法接受

2023-10-27 数据工程

Go Echo 数据湖与仓库 SQL Server CDC Debezium

27

我们面临一个棘手的问题：业务方需要一个高度灵活的数据探索界面，能够对数仓中数十亿行的日志数据进行即时聚合、筛选和分析。现有的BI工具要么过于笨重，要么无法满足定制化的查询需求。而自研方案最大的痛点在于前端和后端之间那条脆弱的、基于字符串拼接

2023-10-27 数据工程

Data Warehouse Solid.js Haskell OLAP Full-stack

27

我们面临一个具体的工程挑战：为公司内部多个业务部门（市场、销售、数据科学）构建一个统一的数据门户。数据源是共享的 Snowflake 数仓，但每个部门的权限、可见的数据表、使用的虚拟仓库 (Warehouse) 乃至前端界面上可用的功能模块

2023-10-27 分布式架构

Consul Snowflake Nuxt.js

27

对于需要最高安全级别的内部系统——例如核心基础设施控制台或财务数据看板——仅依赖于用户名密码或 JWT 是不够的。这些凭证一旦泄露，攻击者就能从任何设备发起访问。我们需要的是一种更强的身份验证形式，能够将访问权限绑定到特定的、受信任的设备上

2023-10-27 后端架构

mTLS tRPC Svelte Shadcn UI