Skip to content

DAG Pipeline

从 15:30 分钟线采集到 19:00 新闻 NLP,全流程 DAG 调度。

架构

采用有向无环图(DAG)组织 20 个计算阶段,事件驱动触发:

                    ┌──────────────┐
 15:30 分钟线 ──────→  L0 基础信号  ←── 15:35 筹码分布
                    └──────┬───────┘

                    ┌──────────────┐
                    │  L1 行为因子  │ ←── 新闻RAG
                    └──────┬───────┘

                    ┌──────────────┐
                    │  L2 合成因子  │
                    └──────┬───────┘

              ┌────────────┬────────────┐
              ▼            ▼            ▼
        L3 ML Alpha  L4 重选股  L5 交易信号
              │            │            │
              └────────────┼────────────┘

                    ┌──────────────┐
                    │  L6-L9 风险  │
                    │   + 决策     │
                    └──────────────┘

关键设计:

  • continue_on_failure: 单 stage 失败不影响下游
  • MAX_WORKERS=3: 同层并行
  • pipeline_stage_state: 每个 stage 都有独立状态追踪

部署

Pipeline 在 linaro (ARM64) 上通过 cron 16:20 触发,gateway 负责 LLM 推理和 TG 推送。

基于 VitePress 构建