DAG Pipeline
从 15:30 分钟线采集到 19:00 新闻 NLP,全流程 DAG 调度。
架构
采用有向无环图(DAG)组织 20 个计算阶段,事件驱动触发:
┌──────────────┐
15:30 分钟线 ──────→ L0 基础信号 ←── 15:35 筹码分布
└──────┬───────┘
▼
┌──────────────┐
│ L1 行为因子 │ ←── 新闻RAG
└──────┬───────┘
▼
┌──────────────┐
│ L2 合成因子 │
└──────┬───────┘
▼
┌────────────┬────────────┐
▼ ▼ ▼
L3 ML Alpha L4 重选股 L5 交易信号
│ │ │
└────────────┼────────────┘
▼
┌──────────────┐
│ L6-L9 风险 │
│ + 决策 │
└──────────────┘关键设计:
- continue_on_failure: 单 stage 失败不影响下游
- MAX_WORKERS=3: 同层并行
- pipeline_stage_state: 每个 stage 都有独立状态追踪
部署
Pipeline 在 linaro (ARM64) 上通过 cron 16:20 触发,gateway 负责 LLM 推理和 TG 推送。