T5 ai_toy_state混乱

Wi-Fi 设备、蜂窝设备、WuKongAI、开发板、TuyaOS 移植等


Post Reply
sandy
Posts: 22

T5模组3.12.13版本SDK,频繁出现ai_toy_state混乱,对话回答过程中或回答完毕,但状态仍然是AI_TOY_THINK

Attachments
7fe169885358b024b6e0f688a2e17b4.png
状态不对(回答过程和回答完毕,状态一直在思考).rar
(8.64 MiB) Downloaded 5 times
User avatar
卢台长
Posts: 38

Re: T5 ai_toy_state混乱

你好,请问你的板子设计有音频回采电路嘛,从日志中看到设备一直在上传音频,并且没有结束,云端有vad超时时间,语音是先下来了,但是后面设备语音VAD结束后,会更新状态,所以状态不对

sandy
Posts: 22

Re: T5 ai_toy_state混乱

有的,见附件;你说的正是我们遇到另外一个问题,当使用自由对话模式(TY_AI_TRIGGER_MODE_FREE)时,它回答过程中很容易被误打断,即使环境很安静,若不使用自由对话模式就不出现该问题

Attachments
部分原理图.rar
(177.44 KiB) Downloaded 5 times
User avatar
卢台长
Posts: 38

Re: T5 ai_toy_state混乱

你好,2个问题帮忙看下

  1. 确认下使用的sdk版本号,烧录的demo是否只修改了硬件相关引脚
  2. 在拾音过程中,状态不对是不是必现或者说是很容易复现

建议参考

  1. 可以使用涂鸦T5开发板/T5-EVB开发板试一下,包括自由对话模式,安静环境下我们测试误触概率很低

非必要,需要dump音频来具体分析了,有个audio_dump的功能,配合脚本可以通过串口导出3路音频mic/ref/aec

sandy
Posts: 22

Re: T5 ai_toy_state混乱

1、版本是3.12.13,我是在tuyaos_demo_ai_toy基础上创建线程跑用户逻辑,其中用到定时器、PWM、ADC、UART、SPI等资源,不过与AI相关硬件引脚(spk_en_pin、audio_trigger_pin)和涂鸦官方板子保持一致
2、当使用自由对话模式很容易复现,由于在其他模式没出现,当时怀疑是涂鸦拾音部分待优化,因为我未修改与AI相关代码

另外我刚才直接编译烧录demo(不改任何东西)到我的项目板子,未出现自由对话模式被误打断情况,怀疑是不是开启上述外设资源导致,接下来要对用户代码逐一排查,看看哪部分影响,谢谢

愚者千虑必有一得
Posts: 665

Re: T5 ai_toy_state混乱

readme里有串口音频dump的方法,你可以试试,用涂鸦的demo,和你自己的程序,分别测试一下,dump下音频,看看差异。

sandy
Posts: 22

Re: T5 ai_toy_state混乱

我使用demo固件(就添加一个打印">>>>>",其他保持不变),反复测试也出现在说话过程中(player event: 2)出现思考状态(AI_TOY_THINK),是不是本身设计就是允许在说话过程出现思考呢

Attachments
T5_demo.txt
(24.53 KiB) Downloaded 4 times
愚者千虑必有一得
Posts: 665

Re: T5 ai_toy_state混乱

你不用自由对话模式,试试看。

Post Reply