博客 on Laputa

Seastar: sharded service(2)

Thu, 15 Dec 2022 00:00:00 +0000

Preface

第一篇里面介绍了一下 seastar::sharded 的基本概念和用法, 一般情况下我们用这些就足够了, 但是 Seastar 还为其他一些特殊的使用场景提供了支持, 当程序功能越来越复杂, 碰到这些场景的概率肯定会更大, 所以从完备的层面考虑, 还是得介绍一些他们; 其实也并不困难, Seastar 是秉持实用主义的, 也就是说在里面的组件一定是有现实中的使用场景的, 用到他们只是时间的问题(了解了这些组件之后可以在 redpanda 和 scylladb 的 codebase 里搜索一下具体的使用场景)

Seastar: sharded service(1)

Thu, 01 Dec 2022 00:00:00 +0000

Preface

Seastar 是一个多线程异步库, 基于它的 App 通常都有在多个 shard(也称 logic core) 上对称部署服务的诉求; 为此我们需要在多个 shard 上创建服务的实例, 并且让这些实例执行某些操作; 这些涉及到 shard 之间的通信, Seastar 提倡使用显式的消息传递(message passing)而不是传统多线程编程常用的共享内存&加锁的方式进行通信, 为此提供了 smp 工具; 所以我们其实可以这样写:

Seastar: network stack

Sun, 13 Nov 2022 00:00:00 +0000

Seastar: network stack

Preface

Seastar 中提供了两种协议栈:

native stack
posix stack

其中 native stack 是 seastar 自己实现的一套协议栈, 一般是和 DPDK 配合使用; 而 posix stack 则是传统的内核协议栈; 由于我并不了解 DPDK, 暂时也没有学习/使用的需要, 所以目前还是先关注 posix stack 的实现(只关注 TCP, unix socket/UDP/SCTP 暂时不管), 以及 seastar 是如何抽象 network stack 这个概念从而统一 native stack 和 posix stack 二者的.

一个符号导致的问题

Sun, 07 Aug 2022 00:00:00 +0000

Preface

最近在优化 Seastar 中 httpd 的一些逻辑，完事之后跑一跑单测想确认下对现有逻辑的确无影响，但是一跑发现有一个 chunk 相关的测试挂了——但是我明明还没有改动到这块，只是改了一下 keepalive 的判定逻辑。

Seastar: temporary buffer

Sat, 16 Jul 2022 00:00:00 +0000

Preface

temporary_buffer 是 Seastar 提供的一种自我管理(self-managed)字节缓冲区，它类似于 std::string 或者 std::unique_ptr<char[]>，但是提供了一些更加灵活的内存管理机制，比如它可以独占底层的缓冲区，也可以和其他 temporary_buffer 共享底层缓冲区、甚至只共享其他 temporay_buffer 底层缓冲区的一部分…，因为这些功能，这个数据结构在 Seastar 以及 Scylla/RedPanda 等基于 Seastar 的项目中使用得非常广泛

Seastar: 用户线程

Sun, 22 May 2022 00:00:00 +0000

Preface

通常我们在 seastar 中写代码是不能阻塞的，如果我们希望在一段异步代码之后执行完毕之后开始执行另外一个逻辑，那么我们就需要通过 continuation 的方式将其串联起来，比如：

ucontext and coroutine

Sun, 08 May 2022 00:00:00 +0000

Preface

最近在看 seastar::thread 的实现，暂且不说它的巧妙(实际上目前还没有完全看懂，但是 Seastar 出品，必属精品)，我首先注意到了 ucontext，这是 seastar::thread 中能够等待一个 unavailable future 的关键，之前没有接触过这套 API，网上搜索了一下相关资料才了解到它居然可以用来实现协程，顿时有了兴趣。

Seastar: semaphore

Wed, 04 May 2022 00:00:00 +0000

Preface

最近在实现 fetch 接口时, 需要对单个 JS 脚本的单次执行过程中可以发起的 fetch 操作数进行限制(和 CloudFlare Workers 类似):

总量限制：超过了则后续的 fetch 操作都将直接失败
并发限制：超过了则后续的 fetch 请求将会被延迟(postpone)执行，直到有其他执行着的 fetch 请求结束

第一点很简单, 用一个计数器即可解决; 关键在于第二个, 要将超出了并发限制的 fetch 操作阻塞住, 直到有其他 fetch 操作结束(即返回的 promise 被 resolve)再唤醒它们执行.

Seastar: 系统调用线程

Mon, 18 Apr 2022 00:00:00 +0000

Preface

在 Seastar 中，文件相关的操作并不直接由 reactor 线程(工作线程)执行，而是被 offload 到一个专门的线程中去执行，为此 Seastar 在 reactor 中提供了诸多文件操作相关的方法；比如重命名一个文件就可以使用 rename_file 方法：

Seastar：核间通信

Sat, 02 Apr 2022 00:00:00 +0000

Preface

虽然 Seastar 号称 share-nothing¹，但是现代服务器开发中仍免不了需要核间通信；Seastar 为此在 smp 类中提供了 submit_to 方法用于向其他线程的 reactor 提交任务并执行：

1
2

static futurize_t<std::invoke_result_t<Func>>
submit_to(unsigned t, Func&& func) noexcept;

比如下面的代码：

ss::future<> f() {
    std::cout << "run on shard-" << ss::this_shard_id() << std::endl;
    return ss::smp::submit_to(1, []() {
        std::cout << "run on shard-" << ss::this_shard_id() << std::endl;
    });
}

首先在当前 shard 打印其 id，然后往 id 为 1 的 shard 提交一个异步任务，该异步任务也只是简单地打印出所在 shard 的 id

Seastar: loop utility

Sat, 26 Mar 2022 00:00:00 +0000

Preface

循环是绝大多数编程语言中必不可少的控制结构，比如 C++ 对数组中的元素求和：

int sum(const std::vector<int> &ints) {
    int res = 0;
    for (size_t i = 0; i < ints.size(); i++) {
        res += ints[i];
    }
    return res;
}

然而在 Seastar 中，写循环却不是一件容易的事情——当然不是上面这种不涉及到任何的异步操作的循环，而是指循环重复执行一个异步操作。比如我们想实现这样一个 search 函数：它依次从 Google、Bing 和 Baidu 搜索，有一个成功则将其内容输出至标准输出并停止搜索；或许我们可以马上写出下面这样一段代码：

Seastar: FPC(2)

Wed, 09 Mar 2022 00:00:00 +0000

Preface

这里不打算完整地解释 Seastar 中 future&promise 的实现，里面旁枝末节实在太多，比如：

API 的兼容性处理
针对不同平台的优化
针对 Debug 编译的特殊处理
各种 Modern C++ 特性的使用
针对 GCC/Clang 做的各种编译优化
…

所以还是希望抓住其中的一些重难点以及做的一些优化进行分析。

Seastar: FPC(1)

Sun, 06 Mar 2022 00:00:00 +0000

Preface

主要讲的是 future&promise 一些基本概念以及设计原理，但是因为 Seastar 中的实现¹非常复杂(毕竟是工业级产品，且经过了 LLVM 大牛的大量优化，多了许多与核心实现其实并没有关系的逻辑)，所以我并不打算直接硬上(其实之前尝试过好几次，但是看完了之后还是迷迷糊糊一知半解，所以打算换一种方法)，而是打算借助 CppCon 2015 上的一个 presentation² 来介绍它的基本原理和简易实现；BTW，这个 presentation 的确讲的非常好，力荐！

Boost: 侵入式容器

Sat, 05 Mar 2022 00:00:00 +0000

Preface

最近在为 Lua/JS 子请求实现 HTTP 连接池，池子的大小是固定的，但是创建的连接数是由跑在我们 web server 之上的用户代码(Lua/JS)决定的，所以在空间不够时必然需要淘汰旧的连接。很容易想到 LRU 淘汰算法，通常我们使用哈希表+双向链表实现¹：哈希表用于存储数据，并且支持 $\mathcal{O}(1)$ 查找；而双向链表用于维护元素的访问时序，并且可以$\mathcal{O}(1)$ 删除。

V8: 模板(1)

Thu, 17 Feb 2022 00:00:00 +0000

Preface

当我们在 web server 中做 v8 扩展开发时，我们在做些什么？

可以和 OpenResty 中的 Lua 类比，其中很大一部分工作是将 web server 的原生(native)能力暴露在 JS 中供用户使用。在 Lua 中写 C/C++ API 我们只需要遵守它所要求的函数签名以及参数传递机制写函数并将其注入全局环境就足够了，比如：

Lua: read-only table

Sat, 29 Jan 2022 00:00:00 +0000

Preface

Lua 中的 API 都是以 Lua table 的方式存储并提供给用户使用，拿 OpenResty 中的 ngx.say API 为例：其中 ngx 是全局环境(也是一个 Lua table)中一个名为 ngx 的 key 对应的 value(一个 table)，而 say，则是 ngx 这个 table 中一个名为 say 的 key 对应的 value(一个 C function)；而 Lua 标准库也是如此。

Lua: buffer system

Sun, 14 Nov 2021 00:00:00 +0000

Preface

最近在实现一套和 OpenResty 中的 ngx.re.* 类似的 API，其中 gsub/sub 这俩用到了 luaL_Buffer；在数据量比较小的情况下它工作的很好，可是一旦数据量上去了，程序就开始抛出异常，不过 OpenResty 却可以正常工作，着实困扰了我一阵；查阅资料发现网上说 luaL_Buffer 的确比较坑，怀疑是不是我用的方式不太对；最终通过看内部实现发现了问题所在，写这篇 blog 记录下

程序员修炼之道: 务实的哲学

Sat, 19 Sep 2020 00:00:00 +0000

Preface

自接触编程以来，我看过的绝大部分书都是关于某项特定技术的，比如 C++ Primer、深入理解 Nginx 以及 OS、网络等计算机专业课相关的。诚然，这些都是必备的，但是正式工作后，越来越感觉如何成长是一个至关重要的议题，而正好《程序员修炼之道》第二版发布了，所以打算看看这本书，而实际上书的确很棒，仅第一章里面就有许多地方我深有同感，不过许多地方我想的并不全面，也缺乏归纳总结这些思想的能力；还是先摘抄一些我喜欢的段落。