C++ 纳秒级交易系统设计

张

张建站

2026/7/2 2:42:32

10分钟阅读

C 纳秒级交易系统设计低延迟需求分析核心数据结构 - Order Book性能优化原则Lock-Free Data Structures多核并发处理性能测量C 特性在低延迟中的应用相关技术栈罗马帝国 Hueman Contracts罗马人会在大型活动如 Syracuse Maximus可容纳 200,000-300,000 人前一年向农民、酿酒商等预定物资通过提前确定价格发明了早期的衍生品交易目的Reduce World UncertaintyWorld Uncertainty Index该指数主要记录负面事件人类作为心理性生物对潜在损失的权重高于潜在收益这解释了为什么人们难以安睡时往往是担心可能亏损1.2 现代市场制造Market Making定义Market Maker 是在金融市场中提供流动性的角色他们同时报出买入价Bid和卖出价Ask盈利模式通过买卖价差Bid-Ask Spread获取微薄利润特点Market Making is aLosers Game不是靠某个银弹打败市场需要持续地在所有方面都做得好小利润来自承担风险optionality的补偿风险不可免费因为价格会波动1.3 C 纳秒级交易系统设计为什么需要低延迟编程类别说明示例快速响应不确定事件对突发新闻、市场变化做出即时反应新闻发布后更新报价、取消订单聪明地处理包含优秀的模型、算法等智能决策更好的交易策略、风险计算第二部分低延迟需求分析2.1 高频交易中的延迟来源在高频交易HFT系统中延迟发生在多个环节消息到达 → 网络接收 → 协议解析 → 订单簿更新 → 策略计算 → 订单生成 → 发送确认 ↓ 每个环节都可能成为瓶颈2.2 延迟量级参考延迟级别典型耗时说明毫秒级1-1000 ms传统系统微秒级1-1000 μs普通量化系统纳秒级1-1000 ns高频交易前沿2.3 交易系统中的参与者与延迟要求不同市场参与者对延迟的要求不同参与者类型延迟敏感度主要策略Market Maker极高被动提供流动性依赖快速响应Arbitrageur极高跨市场/跨品种套利统计套利高基于模型的交易基本面交易中低基于长期分析第三部分核心数据结构 - Order Book订单簿是交易系统的核心数据结构记录市场中所有的买卖订单Bid 侧买家愿意购买的价格和数量Ask 侧卖家愿意出售的价格和数量spread买卖价差 Ask - Bid3.2 操作操作说明Add/Insert添加新订单到订单簿Remove/Cancel取消已有订单Modify修改订单价格或数量Match价格匹配时成交3.3 数据结构选择原则高频交易系统选择订单簿数据结构时的考量查找速度快速定位特定价格或订单插入/删除效率订单更新频繁内存局部性缓存友好确定性延迟避免最坏情况导致的延迟尖刺第四部分性能优化原则4.1 核心工程原则Make It Work, Make It Right, Make It Fast先正确实现再优化性能Measure Before Optimizing必须有性能数据支撑优化决策Optimize the Common Case关注最频繁的执行路径Embrace Hardware充分利用 CPU 硬件特性4.2 CPU 硬件特性利用4.2.1 CPU 缓存Cache缓存层级典型大小访问延迟L1~32 KB~1 nsL2~256 KB~3-4 nsL3~10-30 MB~10-20 ns主存GB 级别~100 ns优化策略数据对齐确保数据结构与缓存行边界对齐Prefetch提前将数据加载到缓存数据布局优化使用SoAStructure of Arrays替代AoSArray of Structures4.2.2 分支预测Branch Prediction现代 CPU 通过猜测分支方向来流水线执行错误预测代价15-25 个时钟周期优化方法减少条件分支数量使用 likely/unlikely 提示考虑条件执行或查找表4.2.3 指令级并行ILPCPU 可以在同一时钟周期执行多条独立指令方法重排指令以增加并行度减少数据依赖展开循环4.3 内存访问优化4.3.1 NUMANon-Uniform Memory Access在多插槽服务器上每个 CPU 插槽有本地内存访问远程内存有额外延迟优化线程优先访问本地内存4.3.2 内存分配策略策略优点缺点预分配池无分配延迟、缓存友好内存浪费对象池减少碎片管理复杂TLSF 等分配器确定性分配时间-4.4 缓存优化技巧数据结构设计AoS vs SoA// AoS (Array of Structures) - 缓存不友好structOrder{uint64_tprice;uint32_tquantity;uint32_ttimestamp;};Order orders[1000000];// SoA (Structure of Arrays) - 缓存友好structOrderBook{uint64_tprices[1000000];uint32_tquantities[1000000];uint32_ttimestamps[1000000];};向量化Vectorization利用 SIMDSingle Instruction Multiple Data指令SSE/AVX 可以在单条指令处理多个数据示例场景批量价格计算、订单匹配// 伪代码示例批量处理 4 个价格__m256d prices_mm256_load_pd(price_ptr);__m256d result_mm256_mul_pd(prices,multiplier);_mm256_store_pd(result_ptr,result);第五部分Lock-Free Data Structures5.1 为什么需要无锁结构对比项有锁方案无锁方案延迟可能阻塞等待确定性等待优先级反转可能发生避免死锁可能发生避免复杂度相对简单实现复杂5.2 原子操作操作说明CAS 用法CASCompare-And-Swap比较并交换最基础的无锁原语FAAFetch-And-Add原子加法计数器、序列号Load/Store原子读写数据一致性5.3 无锁订单簿设计考量// 简化的无锁订单指针更新示例structalignas(64)OrderNode{uint64_tprice;uint32_tquantity;std::atomicOrderNode*next;};// 使用 CAS 更新链表boolupdate_head(std::atomicOrderNode*head,OrderNode*new_node){OrderNode*old_headhead.load(std::memory_order_relaxed);new_node-next.store(old_head,std::memory_order_relaxed);returnhead.compare_exchange_weak(old_head,new_node,std::memory_order_release,std::memory_order_relaxed);}5.4 ABA 问题与解决方案ABA 问题线程 A 读取到值 A切换线程 B 将值改为 C 再改回 A线程 A 继续认为值没变解决方案使用双宽 CASDCAS存储指针版本号使用带计数的指针如std::shared_ptr使用内存管理器的回收延迟第六部分多核并发处理6.1 线程模型设计高频交易系统典型线程模型模型特点适用场景单线程事件循环简单、无锁单核心处理、IO 密集Per-Symbol 线程每个品种独立处理多品种、低耦合管道模型阶段间流水线复杂处理流程混合模型结合多种模型实际生产系统6.2 避免 False SharingFalse Sharing发生在不同线程修改同一缓存行中的数据时// 错误示例False Sharingstruct{std::atomicuint64_tbid_price;// 线程 1 修改std::atomicuint64_task_price;// 线程 2 修改// 两者在同一缓存行导致伪共享}order_book;// 正确示例填充避免 False Sharingstruct{std::atomicuint64_tbid_price;// 线程 1 修改charpadding[64-sizeof(uint64_t)];std::atomicuint64_task_price;// 线程 2 修改charpadding2[64-sizeof(uint64_t)];}order_book;6.3 内存屏障Memory Barriers屏障类型说明使用场景Compiler Barrier防止编译器重排汇编内联Hardware Barrier防止 CPU 重排多线程同步Full Barrier双向阻塞重要同步点Acquire获取之前的加载读取共享数据Release释放之后的存储写入共享数据第七部分性能测量方法7.1 测量的重要性“If you can’t measure it, you can’t improve it.”性能优化的前提是准确的测量。7.2 测量工具与技术7.2.1 硬件性能计数器PMCs使用perf工具# 统计缓存命中率perfstat-ecache-references,cache-misses ./trading_system# 记录并分析perf record-g./trading_system perf report7.2.2 低延迟测量技术技术说明精度RDTSCRead Time-Stamp Counter读取 CPU 时间戳计数器纳秒级RDTSCPRDTSC with Processor ID防止乱序纳秒级Clock_gettimePOSIX 时钟纳秒级CLOCK_MONOTONIC// 使用 RDTSC 进行延迟测量inlineuint64_tget_time_ns(){unsignedintdummy;return__rdtscp(dummy);}// 使用示例uint64_tstart__rdtsc();// ... 操作 ...uint64_tend__rdtsc();uint64_tcyclesend-start;doublelatency_nscycles/(CPU_FREQ_GHZ*1000);7.2.3 追踪与日志追踪Tracing记录每个操作的时序采样分析低开销的 CPU 使用分析热路径分析识别最频繁的执行路径7.3 延迟分布分析指标说明重要性Mean平均延迟整体性能Median (P50)中位数典型情况P9999 百分位大多数请求P99999.9 百分位尾部延迟Max最大延迟极端情况高频交易更关注 P999 而非平均值因为一次极端延迟可能导致错过交易机会。7.4 微基准测试Microbenchmarks使用 Google Benchmark 库#includebenchmark/benchmark.hstaticvoidBM_OrderBookUpdate(benchmark::Statestate){OrderBook book;for(auto_:state){book.update(100,500);}}BENCHMARK(BM_OrderBookUpdate);BENCHMARK_MAIN();第八部分C 语言特性在低延迟中的应用8.1 编译期计算技术说明示例constexpr编译期求值常量计算模板元编程类型级计算类型特化if constexpr编译期条件分支减少分支8.2 虚函数与内联类型优点缺点普通虚函数运行时多态间接调用、难以内联模板编译期多态代码膨胀CRTP静多态、可内联语法复杂// CRTP 示例templatetypenameDerivedclassOrderBookBase{public:voidupdate(){// 静态派发编译时内联static_castDerived*(this)-update_impl();}};classFastOrderBook:publicOrderBookBaseFastOrderBook{public:voidupdate_impl(){/* 高效实现 */}};8.3 内存管理技术开销适用场景栈分配无小对象、固定大小对象池最小频繁创建销毁arena/区域分配低同生命周期对象智能指针有一定开销非性能关键路径第九部分建议9.1 设计决策清单在低延迟系统设计中需要考虑的问题数据结构的时间复杂度是否满足需求是否有不必要的锁竞争缓存命中率如何是否有 False Sharing分支预测成功率如何内存分配是否可预期系统调用的频率原则强调工程实践关注实际问题持续改进不是一次性的银弹方案全面优秀Market Making 的核心理念——持续在所有方面做得好未雨绸缪像罗马人一样做好规划技术栈类别工具/库用途性能分析perf, VTune, Valgrind性能分析基准测试Google Benchmark微基准测试并发TBB, Folly, Seastar并行库网络DPDK, Solarflare低延迟网络日志spdlog, libfmt高性能日志书籍Advances in Financial Machine Learning- López de PradoQuantitative Trading- ChanC High Performance- Bjorn Andrist会议CppCon, Meeting C, ACCU论文ACM SIGOPS, IEEE Transactions9.2 反模式Anti-Patterns反模式问题替代方案全局锁严重串行化无锁结构或细粒度锁不必要的虚函数间接调用CRTP、模板过度抽象代码复杂度YAGNI 原则忽略测量盲目优化先测量再优化premature optimization浪费时间关注瓶颈总结市场制造的本质需要持续在所有方面做到优秀低延迟的两大驱动快速响应智能决策优化方向CPU 缓存友好设计无锁数据结构多核并发优化准确的性能测量工程原则测量优先、关注瓶颈、持续改进高频交易系统的优化是一个系统性工程需要在算法、数据结构、系统设计等多个层面协同优化。