Orchidea Evolution

本目录用于承载与”学习 / 训练 / 进化”相关的子系统复刻代码及整合方案。

2026-11 能力更新（v0.2.0）

演化闭环 CLI：真实反馈采集（archive / director / llot benchmark / 人工标注）→ 触发判定 → MLOps HTTP 端口（漂移、数据集、训练、评测、部署）
触发规则：支持 OEE / KPI 阈值规则与 EVOLUTION_DRY_RUN 预演，退出码显式区分成功与未就绪

目录结构

目录	来源	功能
`RL/`	NeMo RL	GRPO/SFT/DPO/Distillation/RM 等大规模 RLHF 后训练
`Gym/`	NeMo Gym	RL 训练环境（30+ 验证服务器）+ rollouts 采集 + rewards 分析
`torchtitan/`	PyTorch	原生大模型训练（GRPO/SFT，DeepSeekV3/Qwen3）
`tinker-atropos/`	NousResearch	Tinker API 云端 LoRA 训练集成
`hermes-agent-self-evolution/`	NousResearch	DSPy+GEPA Agent 技能自进化
`agent-dev-home/`	—	Agent 运行态技能目录和状态数据
`DisTrO/`	NousResearch	分布式优化器研究（仅文档）
`orchestrator/`	新增	统一编排器 + Web 控制台（整合方案）
`configs/`	新增	流水线配置文件

统一整合方案

架构

                    ┌─────────────────────────────────────┐
                    │       Web 控制台 (oe web)            │
                    │   http://localhost:8765              │
                    └──────────────┬──────────────────────┘
                                   │
                    ┌──────────────▼──────────────────────┐
                    │     Orchestrator (oe run)            │
                    │     流水线编排 + 状态追踪             │
                    └──────────────┬──────────────────────┘
                                   │
       ┌───────────────────────────┼───────────────────────────┐
       │                           │                           │
       ▼                           ▼                           ▼
┌──────────────┐        ┌──────────────────┐        ┌──────────────────┐
│ Phase 1      │        │ Phase 2          │        │ Phase 3          │
│ Agent 状态    │   →    │ 技能自进化        │   →    │ Gym 环境准备     │
│ (技能统计)    │        │ (DSPy+GEPA)      │        │ (数据+验证)      │
└──────────────┘        └──────────────────┘        └────────┬─────────┘
                                                             │
                              ┌──────────────────────────────┘
                              ▼
       ┌──────────────────────────────────────────────────────┐
       │  Phase 4: RL 训练 (NeMo RL 或 TorchTitan)            │
       │  GRPO / SFT / DPO / Distillation                    │
       └──────────────────────────┬───────────────────────────┘
                                  │
                                  ▼
       ┌──────────────────────────────────────────────────────┐
       │  Phase 5: 最终评估                                    │
       └──────────────────────────────────────────────────────┘

环境要求

Python 3.12+
各子系统已按各自 README 完成基础依赖安装

快速开始

# 1. 安装编排器
cd orchestrator
pip install -e .
cd ..

# 2. 查看可用子系统
oe list

# 3. 查看流水线状态
oe status

# 4. 预览将要执行的阶段（不实际执行）
oe run --dry-run

# 5. 执行完整流水线
oe run -c configs/pipeline.yaml

# 6. 只执行特定阶段
oe run -c configs/pipeline.yaml --stage gym rl_training

# 7. 使用快速测试配置
oe run -c configs/quick_test.yaml

# 8. 启动 Web 控制面板
oe web
# 然后浏览器访问 http://localhost:8765

Web 控制台功能

功能	说明
流水线状态	实时显示各阶段执行状态（等待/运行中/成功/失败）
一键运行	点击按钮启动完整流水线或特定阶段
子系统状态	显示各子系统的仓库路径、可用资源
运行日志	实时查看阶段执行日志
健康检查	5 秒自动刷新状态

Docker 部署

# 启动 Web 控制台
docker compose up -d

# 执行流水线
docker compose run orchestrator oe run -c /app/configs/pipeline.yaml

# 查看状态
docker compose run orchestrator oe status

流水线配置

配置了两种开箱即用的方案：

配置	文件	说明
完整流水线	`configs/pipeline.yaml`	Agent → 进化 → Gym → RL → 评估
快速验证	`configs/quick_test.yaml`	Gym → RL → 评估（跳过 Agent/进化）

CLI 命令参考

oe run       # 执行流水线
  -c, --config    配置文件路径（默认 configs/pipeline.yaml）
  -s, --stage     只执行指定阶段
  --dry-run       仅预览不执行

oe status    # 查看最近运行状态
oe list      # 列出所有子系统和资源
oe web       # 启动 Web 控制台

功能特性

统一流水线编排

orchestrator/ 提供一体化编排器（orchidea-orchestrator）：

流水线编排：串联”Agent 状态 → 技能自进化 → Gym 环境 → RL 训练 → 最终评估”的完整流水线，支持阶段级执行（--stage）与预演（--dry-run）
状态与健康追踪：state.py / health.py 维护各阶段执行状态（等待 / 运行中 / 成功 / 失败）与子系统健康检查
Web 控制台：oe-web（dashboard）提供实时流水线状态、一键运行、运行日志与健康检查，默认 http://localhost:8765
MCP Server：mcp_server.py 以 MCP 协议暴露编排能力
语义化配置：training_spec.py / semantic_types.py 提供训练规格与语义类型定义，audit.py 记录流水线操作审计

多子系统适配器

orchestrator/adapters/ 内置 6 类适配器，统一各子系统的接入方式：

适配器	对接子系统
`agent_adapter`	Agent 状态 / 技能统计（Phase 1）
`evolution_adapter`	技能自进化（Phase 2，hermes-agent-self-evolution）
`gym_adapter`	Gym 环境准备（Phase 3，NeMo Gym）
`rl_adapter`	RL 训练（Phase 4，NeMo RL / TorchTitan）
`tinker_adapter`	Tinker API 云端 LoRA 训练
`distro_adapter`	分布式优化器研究（DisTrO）

开箱即用的流水线配置

configs/ 提供四套配置文件：pipeline.yaml（完整流水线）、quick_test.yaml（快速验证）、pipeline.dev.yaml / pipeline.prod.yaml（开发 / 生产环境）。

Agent 技能自进化

hermes-agent-self-evolution/：基于 DSPy + GEPA 的 Agent 技能自进化框架（技能模块、适应度评估、约束、数据集构建）
agent-dev-home/：Agent 运行态技能目录与状态数据（SKILL.md 技能库、state.db、SOUL.md、网关状态）

RL 大规模后训练

RL/（NeMo RL 复刻）支持 GRPO / SFT / DPO / Distillation / RM 等后训练算法，覆盖 Megatron / HuggingFace 多模型后端与异步生成。

Gym 训练环境

Gym/（NeMo Gym 复刻）提供 RL 训练环境：30+ 资源服务器（代码生成、数学推理、代理导航、知识问答等）、rollouts 采集、reward 分析、基准数据集准备与验证。

扩展训练生态

torchtitan/：PyTorch 原生大模型训练（GRPO / SFT，支持 DeepSeek-V3 / Qwen3 等）
tinker-atropos/：Tinker API 云端 LoRA 训练集成（logp steering / 蒸馏）
DisTrO/：分布式优化器研究（仅文档）

许可证

MIT，详见根目录 LICENSE 文件。

核心能力

技术优势