山东大学软件学院创新项目实训 —— 基于UE与LLM的医患沟通模拟与评价系统（四）

文章目录前言一、场景列表接口实现1、get_all_scenarios_with_scenes()2、新增接口3、测试验证传参版本二、设计人物音色三、集成TTS语音合成功能1. 新建 app/services/tts_service.py2. 修改 endpoints.py3. 在 AudioResponse schema 里加 audio_path 字段4. 测试TTS前言本周完善了场景列表的接口后进行了一个新的任务设计了符合病例一王先生的音色并且将它集成到现在的项目中能够将AI回复的语句用音频输出。一、场景列表接口实现为前端提供所有已启用的临床剧本Scenario及其下属场景Scene的完整列表。目标是前端调用该接口后可动态生成场景选择界面下拉菜单、卡片列表或分类面板让用户选择具体的沟通场景。该接口实现了真正的热更新 —— 在数据库中新增或修改剧本后无需重启后端或重新打包 UE5即可在前端看到最新场景列表1、get_all_scenarios_with_scenes()在 scene_service.py 末尾追加一个新函数该函数是整个多场景配置系统的核心查询逻辑负责把数据库中的剧本与场景数据高效、安全地组织成前端友好的格式。async def get_all_scenarios_with_scenes()-list: async with AsyncSessionLocal()as session:# 查所有启用的剧本stmtselect(Scenario).where(Scenario.is_activeTrue)resultawait session.execute(stmt)scenariosresult.scalars().all()output[]forscenarioinscenarios:# 查该剧本下的所有场景按 sort 排序stmt2select(ScenarioScene).where(ScenarioScene.scenario_idscenario.id).order_by(ScenarioScene.sort)result2await session.execute(stmt2)scenesresult2.scalars().all()output.append({scenario_key:scenario.scenario_key,scenario_name:scenario.scenario_name,scenes:[{scene_key:scene.scene_key,scene_name:scene.scene_name,goal:scene.goal,sort:scene.sort}forsceneinscenes]})returnoutput作用查询所有 is_active True 的剧本Scenario为每个剧本查询其下属的所有场景ScenarioScene并按 sort 字段排序将数据组装成结构化的列表返回给 /api/scenes 接口2、新增接口在 app/api/endpoints.py 中新增了以下接口router.get(/scenes,response_modelScenesResponse)async def list_scenes(): try: dataawait get_all_scenarios_with_scenes()return{status:success,data:data}except Exception as e: raise HTTPException(status_code500,detailstr(e))在 app/schemas/chat.py 中新增了 SceneItem、ScenarioItem 和 ScenesResponse 三个 Pydantic 模型用于定义接口返回的数据结构使 Swagger 文档清晰可读。3、测试验证{status:success,data:[{scenario_key:heart_attack_wang,scenario_name:急性心梗沟通训练,scenes:[{scene_key:wang_explain,scene_name:解释病情,goal:开场建立信任、胸痛问诊、检查计划说明、吸烟风险沟通,sort:1},{scene_key:wang_decide,scene_name:共同决策,goal:检查结果通俗解读、治疗方案说明、造影与风险告知、共同决策治疗方案,sort:2}]},{scenario_key:coronary_sun,scenario_name:冠心病胸闷沟通训练,scenes:[{scene_key:sun_explain,scene_name:解释病情,goal:胸闷原因解释、检查项目说明、风险评估、生活方式指导,sort:1},{scene_key:sun_decide,scene_name:术前决策与共同沟通,goal:冠心病诊断解释、造影支架说明、手术风险告知、知情同意,sort:2}]}]}通过 Swagger UI 调用 GET /api/scenes接口成功返回 status: “success” 和 data 数组返回内容包含当前数据库中的剧本heart_attack_wang、coronary_sun及其下属多个具体场景wang_explain、wang_decide、sun_explain等每个场景均包含 scene_key、scene_name、goal 等关键信息。传参版本目前接口 /scenes 会返回所有数据经过小组讨论后我们希望能在 URL 后面加参数比如http://127.0.0.1:8000/api/scenes?scene_keysun_decide。这样接口就只返回 sun_decide 相关的数据而不是全部。需要在接口函数和get_all_scenarios_with_scenes函数中添加参数async def list_scenes(scene_key: Optional[str]Query(None,description要过滤的场景Key))async def get_all_scenarios_with_scenes(scene_key: strNone)结果如下二、设计人物音色在阿里云百炼大模型服务平台中可以直接通过输入提示词来设计想要的音色要抓住人物的特点来写提示词比如低沉粗糙的沙哑烟嗓因为心脏不好感到胸闷所以说话语速不能很快要有一些喘息声但是因为担心病情说话时语速也要有快慢的变化展示出病人的担心和害怕一定要避免中气十足的声音和非常正式的播音腔。我最后选择用 qwen3-tts-vd-2026-01-26 模型创建的音色 qwen-tts-vd-bailian-voice-20260417213012921-1c1d。随后我创建了一个新的代码文件tts_wang.py不启动FastAPI只进行单独测试写入了我的API Key以及模型和音色将输出的音频保存在了指定的文件夹。在这个代码中测试的文本是我指定的。importrequestsimportdashscope from fastapiimportFastAPI from fastapi.responsesimportFileResponseimporttempfile from dotenvimportload_dotenvimportos load_dotenv(dotenv_path.env.local)API_KEYos.getenv(DASHSCOPE_API_KEY)VOICE_IDqwen-tts-vd-bailian-voice-20260417213012921-1c1dMODELqwen3-tts-vd-2026-01-26# 北京地域的 base urldashscope.base_http_api_urlhttps://dashscope.aliyuncs.com/api/v1# # 核心函数文字 → 音频文件# def text_to_speech(text: str)-str: 调用阿里云百炼 TTS用王先生音色合成语音。 返回本地音频文件路径wav 格式。# Step 1调用 TTS非流式返回的是音频 URLresponsedashscope.MultiModalConversation.call(modelMODEL,api_keyAPI_KEY,texttext,voiceVOICE_ID,# ← 你设计的音色 IDlanguage_typeChinese,streamFalse,# 非流式)# Step 2从响应里取出音频 URL# 响应结构response.output.audio.urlifresponse.status_code!200: raise Exception(fTTS 调用失败: {response.code} - {response.message})audio_urlresponse.output.audio.urlifnot audio_url: raise Exception(响应中没有音频 URL请检查 voice_id 和 model 是否匹配)# Step 3下载音频到本地临时文件audio_responserequests.get(audio_url,timeout30)audio_response.raise_for_status()save_dirrD:\yinpin# 如果文件夹不存在自动创建ifnot os.path.exists(save_dir): os.makedirs(save_dir)# 生成唯一文件名避免覆盖importuuid filenameftts_{uuid.uuid4()}.wavaudio_pathos.path.join(save_dir, filename)# 保存音频with open(audio_path,wb)as f: f.write(audio_response.content)returnaudio_path# # FastAPI 接口示例# appFastAPI()app.post(/patient/speak)async def patient_speak(text: str): 接收 AI 病人王先生要说的文字返回音频文件。 前端收到后直接播放即可。 audio_pathtext_to_speech(text)returnFileResponse(pathaudio_path,media_typeaudio/wav,filenamepatient_response.wav)if__name____main__:test_text医生我昨天在厂里搬机器零件的时候突然胸口像被砸了一样疼疼得我直冒冷汗……现在还一直隐隐作痛有点喘不过气来。哎……我这是不是心脏出大问题了以后还能不能干重活啊我女儿马上高考我可不能拖累她呀……print(正在合成...)pathtext_to_speech(test_text)print(f合成成功音频文件保存在{path})三、集成TTS语音合成功能从gitee上拉取更新后的项目代码后我们目前想要实现的工作流程如下在更新的项目文件endpoints.py 的 /chat/audio_to_text 接口最后返回了 ai_replyAI 患者的文字回复现在已经实现了前两步我需要做的是在 audio_to_text 接口拿到 ai_reply 之后调用 TTS 把它转成音频返回音频文件路径给前端。1. 新建 app/services/tts_service.py把 TTS 逻辑封装成 tts_service.py# app/services/tts_service.pyimportosimportuuidimportasyncioimportrequestsimportdashscope from dotenvimportload_dotenv load_dotenv(dotenv_path.env.local)dashscope.base_http_api_urlhttps://dashscope.aliyuncs.com/api/v1VOICE_IDqwen-tts-vd-bailian-voice-20260417213012921-1c1dMODELqwen3-tts-vd-2026-01-26SAVE_DIRrD:\yinpindef _call_tts_sync(text: str)-str:同步调用阿里云 TTS返回本地音频路径。供 asyncio.to_thread 调用。 api_keyos.getenv(DASHSCOPE_API_KEY)responsedashscope.MultiModalConversation.call(modelMODEL,api_keyapi_key,texttext,voiceVOICE_ID,language_typeChinese,streamFalse,)ifresponse.status_code!200: raise Exception(fTTS 调用失败: {response.code} - {response.message})audio_urlresponse.output.audio.urlifnot audio_url: raise Exception(响应中没有音频 URL请检查 voice_id 和 model 是否匹配)audio_responserequests.get(audio_url,timeout30)audio_response.raise_for_status()os.makedirs(SAVE_DIR,exist_okTrue)audio_pathos.path.join(SAVE_DIR,patient_reply.wav)with open(audio_path,wb)as f: f.write(audio_response.content)returnaudio_path async def text_to_speech(text: str)-str:异步包装避免阻塞 FastAPI 主线程。returnawait asyncio.to_thread(_call_tts_sync, text)2. 修改 endpoints.py在 endpoints.py 顶部 import 区域加from app.services.tts_serviceimporttext_to_speech然后在 /chat/audio_to_text 加入 TTS 调用# 6. TTS将 AI 回复文字合成为音频保存到 D:\yinpinaudio_pathNone try: audio_pathawait text_to_speech(ai_reply)print(f[TTS 合成成功] 音频保存至: {audio_path})except Exception as tts_err: print(f[TTS 合成失败跳过] {tts_err})# 7. 返回识别结果给 UE5returnAudioResponse(statussuccess,recognized_textrecognized_text,replyai_reply,audio_pathaudio_path)3. 在 AudioResponse schema 里加 audio_path 字段在 app/schemas/chat.py 的 AudioResponse 里加一行class AudioResponse(BaseModel): status: str recognized_text: str reply: str audio_path: Optional[str]None# 新增TTS 失败时为 None4. 测试TTS在后端进行简单测试修改了/chat 接口改完之后在 Swagger UI 的 /chat 接口里发消息返回结果里不仅又回复的语句还有 audio_path同时 D:\yinpin 里会生成对应的音频文件。为了方便前端调用我们选择使用固定音频文件名。生成的音频与输出的文字相符合。