fluxars
本站致力于IT相关技术的分享
为Go框架集成Datadog持续剖析并由CircleCI自动化注入版本元数据 为Go框架集成Datadog持续剖析并由CircleCI自动化注入版本元数据
一个线上服务的 P99 延迟告警打破了宁静。CPU 使用率在特定时间点出现毛刺，但常规的 Metrics 和 Tracing 并没有给出明确的线索。日志中没有异常错误，分布式追踪显示所有下游依赖的响应时间正常，问题几乎可以肯定出在服务自身的
2023-10-27 可观测性
DevOps Go Datadog CircleCI 持续剖析
使用Haskell构建类型安全的OLAP查询层并对接Solid.js实现海量数据渲染 使用Haskell构建类型安全的OLAP查询层并对接Solid.js实现海量数据渲染
我们面临一个棘手的问题：业务方需要一个高度灵活的数据探索界面，能够对数仓中数十亿行的日志数据进行即时聚合、筛选和分析。现有的BI工具要么过于笨重，要么无法满足定制化的查询需求。而自研方案最大的痛点在于前端和后端之间那条脆弱的、基于字符串拼接
2023-10-27 数据工程
Data Warehouse Solid.js Haskell OLAP Full-stack
构建动态多租户向量检索服务：etcd、Pinecone 与 OAuth 2.0 的架构权衡与实现 构建动态多租户向量检索服务：etcd、Pinecone 与 OAuth 2.0 的架构权衡与实现
为单一业务构建向量检索服务已是常规操作，但当需求演变为向数百个独立租户提供隔离、安全且配置动态可变的向量检索能力时，架构的复杂性便呈指数级增长。硬编码租户配置、通过重启服务来应用变更，或是依赖脆弱的API Key认证，这些在生产环境中都是不
2023-10-27 分布式架构
多租户 etcd Pinecone OAuth 2.0 Jib NoSQL 微服务
使用 Go Echo 构建从 SQL Server 到数据湖的 CDC 实时入湖网关 使用 Go Echo 构建从 SQL Server 到数据湖的 CDC 实时入湖网关
我们团队维护的一个核心业务系统，其 OLTP 数据库是 SQL Server。过去，数据分析的需求一直依赖于 T+1 的 ETL 批处理任务，每天凌晨将数据抽取到数据仓库。随着业务对实时性的要求越来越高，这种小时级甚至天级的延迟变得无法接受
2023-10-27 数据工程
Go Echo 数据湖与仓库 SQL Server CDC Debezium
基于 Consul 动态配置驱动的 Nuxt.js 多租户 Snowflake 数据门户架构实现 基于 Consul 动态配置驱动的 Nuxt.js 多租户 Snowflake 数据门户架构实现
我们面临一个具体的工程挑战：为公司内部多个业务部门（市场、销售、数据科学）构建一个统一的数据门户。数据源是共享的 Snowflake 数仓，但每个部门的权限、可见的数据表、使用的虚拟仓库 (Warehouse) 乃至前端界面上可用的功能模块
2023-10-27 分布式架构
Consul Snowflake Nuxt.js
构建基于 mTLS 双向认证的 tRPC 全栈类型安全应用 构建基于 mTLS 双向认证的 tRPC 全栈类型安全应用
对于需要最高安全级别的内部系统——例如核心基础设施控制台或财务数据看板——仅依赖于用户名密码或 JWT 是不够的。这些凭证一旦泄露，攻击者就能从任何设备发起访问。我们需要的是一种更强的身份验证形式，能够将访问权限绑定到特定的、受信任的设备上
2023-10-27 后端架构
mTLS tRPC Svelte Shadcn UI
5 / 5