🧠 cortex-flow

以个人知识库为核心的第二大脑系统 —— 多源采集 · 动态整合 · 智能输出

从微信碎片到 arxiv 论文，自动流入个人知识大脑；从灵感评分到 Blog 发布，知识在系统中持续生长。

---

🌊 系统概览

cortex-flow 是一个以个人知识库为核心的第二大脑系统，将碎片化的信息输入（微信、arxiv、手动投递）与结构化的知识输出（推送、Blog、Poster）通过一个统一的处理-思考管线连接起来。

━━━━━━━━━━━━━━━━  INPUT  ━━━━━━━━━━━━━━━━
  微信碎片          arxiv 论文        手动投递
  (企业微信机器人)   (定时检索·三域)   (_inbox/)
       │                 │               │
       └─────────────────┴───────────────┘
                         │
                 ┌───────▼────────┐
                 │   Layer 1      │  采集层
                 │  SHA256 去重   │  全文抓取
                 └───────┬────────┘
                         │
                 ┌───────▼────────┐
                 │   Layer 2      │  处理层
                 │ DeepSeek 分类  │  打标·评分·写入 Vault
                 └───────┬────────┘
                         │
         ╔═══════════════▼═══════════════╗
         ║       知识大脑  ★ 核心 ★      ║
         ║    LLM_Wiki_Base (本地)        ║
         ║  agentic_rl / world_model /    ║
         ║  strategy_game_benchmark       ║
         ╚═══════════════╤═══════════════╝
                         │
                 ┌───────▼────────┐
                 │   Layer 3      │  思考层  (WIP)
                 │ chromadb 检索  │  关联推理·灵感生成·评分
                 └───────┬────────┘
                         │
━━━━━━━━━━━━━━━━  OUTPUT  ━━━━━━━━━━━━━━━
  微信推送        arxiv 日报        Blog / Poster
  (定时/触发)     (每日摘要)        (Quartz 静态站)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

---

✨ 核心功能

— 采集 & 处理 —
📥 多源碎片采集 支持企业微信机器人长连接实时采集、_inbox/ 目录监控（watchdog）、CLI 命令行直接投递。任何来源的内容统一进入同一处理管线。	🔬 arxiv 三域追踪 针对 Agentic RL、World Model、Strategy Game Benchmark 三个研究领域，自动检索 arxiv 新论文，双 LLM 评分筛选，深度分析后写入知识库。
🏷️ LLM 自动分类打标 调用 DeepSeek 对每条碎片自动识别类型（xhs/mp/paper/text/link）、归属研究领域、生成标签、质量评分（0–10）。SHA256 内容去重，避免重复摄入。	📁 Obsidian 兼容 Vault 所有碎片以 YAML frontmatter + Markdown 格式写入 vault/fragments/<type>/<YYYY-MM>/，可直接用 Obsidian 打开浏览，支持 Graph View 关联图谱。
— 知识大脑 —
🧬 三域知识库 LLM_Wiki_Base 是系统核心，结构化存储三个科研域的论文摘要、算法/模型实体页、概念页。arxiv-tracker 的桥接层将论文分析结果自动写入 raw/<domain>/papers/。	💡 灵感生成（WIP） 计划通过 chromadb 向量检索 + DeepSeek 关联推理，将新摄入的碎片与已有知识库关联，生成评分灵感，反哺写回 raw/<domain>/insights/。

---

🗂️ 项目结构

cortex-flow/
├── lumina/                  # 采集·处理·思考·输出管线
│   ├── src/
│   │   ├── config.py        # Pydantic Settings，读取 .env
│   │   ├── models.py        # Fragment / IdeaNote / WikiPage 数据模型
│   │   ├── pipeline.py      # 统一摄入入口：去重→分类→写Vault
│   │   ├── collectors/
│   │   │   ├── watch_dir.py         # watchdog 目录监控
│   │   │   └── wechat_webhook.py    # 企业微信长连接 (WIP: 加密解析)
│   │   ├── processors/
│   │   │   ├── classifier.py        # DeepSeek 分类打标
│   │   │   ├── deduplicator.py      # SQLite SHA256 去重
│   │   │   ├── fetcher.py           # trafilatura 全文抓取
│   │   │   └── vault_writer.py      # 写入 Obsidian Vault
│   │   ├── thinkers/                # 思考层 (Phase 2, WIP)
│   │   ├── publishers/              # 输出层 (Phase 3, WIP)
│   │   └── integrations/            # WikiLLM 读写接口 (WIP)
│   ├── vault/               # Obsidian Vault（个人内容，不提交）
│   │   └── _inbox/          # 手动投递入口
│   ├── cli.py               # Click CLI 入口
│   ├── main.py              # 服务启动入口
│   └── requirements.txt
│
├── arxiv-tracker/           # arxiv 检索桥接层
│   ├── bridge/
│   │   └── wiki_exporter.py         # 论文分析结果 → wiki raw/
│   └── configs/
│       ├── config.agentic_rl.json
│       ├── config.world_model.json
│       └── config.strategy_game.json
│
├── docs/
│   └── architecture.md      # 详细架构与数据流说明
│
├── .env.example             # 配置模板
└── .gitignore

---

🚀 快速开始

1. 克隆仓库

git clone https://github.com/Fateyetian/cortex-flow.git
cd cortex-flow

2. 安装依赖

# 推荐使用已有 conda 环境
conda activate aris
pip install -r lumina/requirements.txt

3. 配置环境变量

cp .env.example .env
# 编辑 .env，填写 DEEPSEEK_API_KEY 和 WIKI_BASE_PATH

4. 手动投递一条碎片

# 投递文字内容
python lumina/cli.py add "RLHF 在长链推理任务上的稳定性仍是一个开放问题"

# 投递 URL（自动抓取全文）
python lumina/cli.py add "https://arxiv.org/abs/2305.18290"

5. 启动目录监控

python lumina/cli.py watch
# 将文件拖入 lumina/vault/_inbox/ 即可自动处理

6. 启动企业微信长连接

# 需在 .env 中配置 WECHAT_BOT_ID 和 WECHAT_BOT_SECRET
python lumina/cli.py serve

---

📡 arxiv 追踪

将 arxiv-tracker/bridge/ 和 arxiv-tracker/configs/ 复制到 arxiv-daily-researcher 根目录，然后：

# 在 arxiv-daily-researcher 目录下
python main.py --config configs/config.agentic_rl.json

分析结果自动写入 LLM_Wiki_Base/raw/agentic_rl/papers/。详见 arxiv-tracker/README.md。

---

🗺️ 路线图

阶段	功能	状态
Phase 1	采集·处理闭环（watchdog + DeepSeek 分类 + Vault 写入）	✅ 已完成
Phase 1	arxiv 三域追踪 + WikiLLM 桥接写入	✅ 已完成
Phase 1	企业微信长连接消息接收	⚠️ 加密解析待解决
Phase 2	chromadb 向量索引 + 灵感生成 + Idea 评分	🔲 计划中
Phase 2	知识库动态维护（反哺 raw/insights/）	🔲 计划中
Phase 3	微信定时推送（arxiv 日报 + 灵感摘要）	🔲 计划中
Phase 3	Blog 发布（Quartz 静态站）/ Poster 生成	🔲 计划中

---

🔧 依赖

模块	用途
openai	DeepSeek API 调用（兼容 OpenAI 接口）
pydantic / pydantic-settings	数据模型 + 配置管理
watchdog	_inbox/ 目录实时监控
trafilatura	网页正文抓取
websocket-client	企业微信 WebSocket 长连接
loguru	结构化日志
click	CLI 命令行接口
sqlite3	SHA256 去重存储（标准库）

---

📄 License

MIT