《系统日知录》会持续更新数据库、分布式系统、存储、ML System 相关的想法、翻译、笔记和文章，通过深入浅出的持续解析，帮助业务开发程序员建立底层知识体系。 写代码不是全部，系统是综合学问。 不谋全局者，不足谋一域； 不学系统者，不足学编程。 专栏是买断制，在保证每篇文章的知识密度的基础上，持续不定期更新。会随缘将一些文章分享到公众号：“木鸟杂记”。关注该公众号后回复：“优惠券”，可以领取本专栏八折优惠券。 关于专栏内容，想交流可以留言、也可加我微信 qtmuniao。有个交流群，如果想加群可备注。
Memgraph 系列（三）：高效扫描和垃圾回收
Memgraph 是一个内存型图数据库，使用 OpenCypher 作为查询语言，主打小数据量、低延迟的图场景。由于 Memgraph 是开源的（repo 在这，使用 C++ 实现）我们可以一窥......
从“丰巢”快递柜看 jemalloc 的内存管理
在某些工作负载中，随着时间的推移，内存的使用会逐渐增长，直到 OOM。后面发现是内存碎片问题，而将系统默认的内存分配器（glibc malloc）换成 jemalloc ，能有效控制内存的增......
Snowflake：云原生数仓的开创者
Snowflake 由甲骨文的两位员工在 2012 年出来创办，一开始就瞄准云原生数仓，因此架构设计（在当时看来）非常“激进”。超前的视野带来超额的回报，Snowflake 在 2020 年正式......
Spark：如何在云上做缩容
在云上进行大规模的数据处理时，做扩容很容易——只要觉得负载过高，加机器，调度新任务即可；但是缩容相对较麻烦，因为通常来说，一个节点通常不会只运行一个任务、还可能会有状态。
计算碎片为......
使用 ray.data 进行大规模数据处理（二）：全局视角
ray.data 是基于 ray core 的一层封装。依赖 ray.data，用户用简单的代码，就可以实现数据大规模的异构处理（主要指同时使用 CPU 和 GPU）。一句话总结：很简单好用，同......
有趣的线性代数（三）：方程求解中的“分治”思想
由于对各种矩阵运算物理意义的理解总是跟不上，因此尽管多年多次尝试入门机器学习，却总是被拒之门外。偶然间同事推荐了 MIT 那门经典的线性代数公开课，听了几节，煞是过瘾，之前紧闭的大门竟有打开一丝......
有趣的线性代数（二）：所谓空间
由于对各种矩阵运算物理意义的理解总是跟不上，因此尽管多年多次尝试入门机器学习，却总是被拒之门外。偶然间同事推荐了 MIT 那门经典的线性代数公开课，听了几节，煞是过瘾，之前紧闭的大门竟有打开一丝......
有趣的线性代数（一）：矩阵向量乘法的一种理解
由于对各种矩阵运算物理意义的理解总是跟不上，因此尽管多年多次尝试入门机器学习，却总是被拒之门外。偶然间同事推荐了 MIT 那门经典的线性代数公开课，听了几节，煞是过瘾，之前紧闭的大门竟有打开一丝......
使用 ray.data 进行大规模数据处理（一）：用户接口
我之前在数据处理的大一统——从 Shell 脚本到 SQL 引擎这篇文章中提到过，进行数据处理的一个标准模型是：
数据集标准化、算子可组合
标准化的数据集合：对应待组装对......
“一文打尽” Google Borg（k8s 前身）的精华 —— 任务调度
虽然上云的最大红利被 Amazon AWS 吃走了，但是 Google 在 2014 年将集群管理系统 Borg 经验，开源为 k8s。短短几年间，k8s 就成了云上容器编排系统的事实标准，从而......