600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > 乐鑫Esp32学习之旅16 学习本地语音唤醒离线识别框架 esp-skainet 如何修改唤醒词

乐鑫Esp32学习之旅16 学习本地语音唤醒离线识别框架 esp-skainet 如何修改唤醒词

时间:2022-11-25 13:48:49

相关推荐

乐鑫Esp32学习之旅16 学习本地语音唤醒离线识别框架 esp-skainet  如何修改唤醒词

本系列博客学习由非官方人员半颗心脏潜心所力所写,仅仅做个人技术交流分享,不做任何商业用途。如有不对之处,请留言,本人及时更改。

1、 爬坑学习新旅程,虚拟机搭建esp32开发环境,打印 “Hellow World”。

2、 巧用eclipes编辑器,官方教程在在Windows下搭建esp32开发环境,打印 “Hellow World”。

3、 认识基本esp32的GPIO接口,开始点亮您的第一盏 LED和中断回调实现按键功能 。

4、体会esp32的强大的定时器功能, 实现定时2s闪烁一盏LED灯。

5、接触实践esp32的pwm宽度脉冲功能, 实现呼吸效果闪烁一盏LED灯。

6、smartConfig和微信airKiss在esp32的实现,一键配网轻松快捷连接路由器。

7、利用GPIO中断做一个按键的短按和长按的回调事件,再也无须担心触发源。

8、esp32上实现本地 UDP 客户端和服务端角色,在局域网内实现通讯。

9、esp32上实现本地 TCP 客户端和服务端角色,可断线重连原路返回数据。

10、乐鑫esp32 SDK编程利用rmt驱动ws2812七彩灯,实现彩虹渐变效果。

11、入门 乐鑫esp-adf 音频框架开发,esp32造一个蓝牙耳机,实现切换歌曲,获取歌曲信息等功能。

12、开源一个微信公众号airkiss配网esp32以及局域网发现功能的工程,分享一个airkiss配网小工具。

13、esp32 内置 dns 服务器,无需外网访问域名返回指定网页。

14、esp32 sdk编程实现门户强制认证,连接esp32热点之后,自动强制弹出指定的登录界面。

15、认识本地离线语音唤醒识别框架 esp-skainet ,实现较低成本的硬件语音本地识别控制。

16、学习本地语音唤醒离线识别框架 esp-skainet ,如何修改唤醒词? 如何自定义命令词?如何做意图动作?

17、全网首发,乐鑫esp32 sdk直连京东微联·小京鱼 · IoT开放平台,实现叮咚音响语音智能控制。

文章目录

一、前言;二、修改唤醒词;三、修改命令词;四、搭建针对语音命令的动作函数五、其他5.1 编译和运行5.2 唤醒板子5.3 语音命令词识别 另外,不要把我的博客作为学习标准,我的只是笔记,难有疏忽之处,如果有,请指出来,欢迎留言哈!也欢迎加群讨论!

一、前言;

前天,我在博客分享了如何入门esp-skainet,很多群友都对此感兴趣,今天也是双十一,今天您剁手了么?还是准备老老实实跟着我敲代码?继续学习本地语音唤醒离线识别这个框架?

最近也发现自己有点散光了,很痛苦,又要去配眼镜或者视力检查了,如果有机会,我一定不做 “程序猿”久坐对着电脑不会适量运动;

二、修改唤醒词;

前面说了,唤醒词是只有几个,因为考虑到商业问题,官方也就开放出来几个而已,包括“Hi 乐鑫”,“您好小智”… …等几个,那么我们如何修改自定义唤醒词呢?

打开工程配置make menuconfig,从下面可以看到只有“Hi 乐鑫”,“您好小智” 这2个唤醒词;英文版的唤醒词,还要等待官网添加进去;

进入Component config->ESP Speech Recognition,按照指示配置以下参数:

Wake word engine: 选择WakeNet 5 (quantized);Wake word name: 选择hilexin (WakeNet5)或者其他唤醒词speech commands recognition model to us: 选择MultiNet 1 (quantized);langugae: 选择chinese (MultiNet1);

三、修改命令词;

修改命令词是什么意思?比如我要它识别到 “我要开空调”、“我要开飞机”、“我要开推土机”,然后把识别后的意图转化为代码做对应的动作;

上篇博文说了,自定义命令词仅仅支持 100 个,而且目前为止只是中文词汇,非英文词汇,很好!

目前,MultiNet 模型中已经预定义了四个命令词。用户可以通过menuconfig -> Component config -> ESP Speech Recognition -> Add speech commandsandThe number of speech commands来定义自己的语音命令词和语音命令的数目。注意,在填充命令词时应该使用拼音,并且每个字的拼音拼写间要间隔一个空格。比如“打开空调”,应该填入 “da kai kong tiao”.

一个语音命令 ID 可以对应多条语音指令短语;最多支持 100 个语音命令 ID 或者命令短语;同一个语音命令 ID 对应的多条语音指令短语之间要使用“,”隔开比如下面的动图,我做了5个语音命令 ID12个命令短语

四、搭建针对语音命令的动作函数

用户可以通过void speech_commands_action(int command_id)函数定义针对每个语音命令的动作,因为前面我们看到了每个命令短语对应一个ID,所以,识别出来的结果,我们判断id就知道它的意图是什么了,比如:

void speech_commands_action(int command_id){printf("Commands ID: %d.\n", command_id);switch (command_id){case 0:printf("开灯 \n");led_on(CW_LED_GPIO);led_on(WW_LED_GPIO);break;case 1:printf("关灯 \n");led_off(CW_LED_GPIO);led_off(WW_LED_GPIO);break;case 2:printf("冷色光\n");led_on(CW_LED_GPIO);led_off(WW_LED_GPIO);break;case 3:printf("暖色光\n");led_off(CW_LED_GPIO);led_on(WW_LED_GPIO);break;case 4:printf("中性光\n");led_on(CW_LED_GPIO);led_on(WW_LED_GPIO);break;default:break;}}

五、其他

5.1 编译和运行

运行make flash monitor来编译烧写该示例,并且检查以下输出打印:

Quantized wakeNet5: wakeNet5_v1_hilexin_5_0.95_0.90, mode:0Quantized MN1I (153) MN: ---------------------SPEECH COMMANDS---------------------I (163) MN: Command ID0, phrase 0: da kai kong tiaoI (163) MN: Command ID1, phrase 1: guan bi kong tiaoI (173) MN: Command ID2, phrase 2: da kai dian dengI (173) MN: Command ID3, phrase 3: guan bi dian dengI (183) MN: ---------------------------------------------------------chunk_num = 200-----------awaits to be waken up-----------

5.2 唤醒板子

可以通过板子的输出打印找到支持的唤醒词。在这个示例中,唤醒词是 “Hi Lexin" [Ləsɪ:n].

然后,说出 “Hi Lexin" ([Ləsɪ:n]) 来唤醒板子,唤醒后打印如下信息:

hilexin DETECTED.-----------------LISTENING-----------------

5.3 语音命令词识别

然后,板子会进入侦听状态,等待语音命令词。

目前,MultiNet 已经预定义了 20 个词,可以参考 MultiNet.

如果命令词存在于命令词列表中,回打印如下 log:

-----------------LISTENING-----------------phrase ID: 0, prob: 0.866630Commands ID: 0-----------awaits to be waken up-----------

如果命令词不存在于命令词列表中,回打印如下 log:

-----------------LISTENING-----------------cannot recognize any speech commands-----------awaits to be waken up-----------

当板子结束当前的识别过程并且进入等待唤醒状态时,会打印:

-----------awaits to be waken up-----------

另外,不要把我的博客作为学习标准,我的只是笔记,难有疏忽之处,如果有,请指出来,欢迎留言哈!也欢迎加群讨论!

玩转esp8266带你飞、加群付费QQ群,不喜的朋友勿喷勿加:434878850esp8266源代码学习汇总(持续更新,欢迎star):/xuhongv/StudyInEsp8266esp32源代码学习汇总(持续更新,欢迎star):/xuhongv/StudyInEsp32关注下面微信公众号二维码,干货多多,第一时间推送!

乐鑫Esp32学习之旅16 学习本地语音唤醒离线识别框架 esp-skainet 如何修改唤醒词? 如何自定义命令词?如何做意图动作?

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。