哆啦A梦桌面萌宠

[time1527]

项目简介：哆啦A梦桌面萌宠

项目概述

本项目旨在创建一个基于哆啦A梦形象的桌面萌宠，通过自然语言处理技术使其能够与用户进行互动。该萌宠将具备哆啦A梦的语气和个性，并能够通过“四次元口袋”提供丰富的功能。项目计划使用微调大语言模型、Agent系统、检索增强生成（RAG）技术、TTS、agent微调来实现这一目标。前端呈现最终考虑使用Unity，短期内将优先使用Gradio或Streamlit展示llm相关成果。

技术路线

1. 数据收集与准备：

• 对话数据：
  • 大山版台配陈美贞剧集提取
  • 根据“经典语录”生成问题
• 基础数据的对话：根据个人信息、朋友信息生成
• 道具数据：（考虑和agent微调数据一起）

2. 微调：

• 语气个性微调
• agent微调：让它能够更精确地”从口袋里掏出正确道具”

3. agent：

• 动漫道具：例如竹蜻蜓
• rag道具：辅助llm回答，例如用户询问关于“哆啦美喜欢吃什么”的时候会进行相应检索，减少llm回答的错误率
• 现代道具：例如文生图

4. TTS：暂没有特别熟悉这一块的小组成员，细节待研究，目前初步锁定GPT-SoVITS

5. 前端：桌面萌宠大多通过unity实现，暂没有特别熟悉这一块的小组成员，短期内考虑通过gradio/streamlit