聆思CSK6大模型開發板語音喚醒加載GIF動畫
本篇文章主要介紹基于聆思CSK6大模型開發板的語音交互多模態實例進行二次開發,實現在語音喚醒后在屏幕展示GIF動畫表情。
● 通過LGVL官網的工具將GIF轉換為適合嵌入式系統使用的格式
● 基于SDK源代碼進行修改
● 開發板編譯與燒錄
在開始實操之前,我們部署開發環境以及SDK工程拉取到本地目錄,可以參考聆思文檔中心環境搭建 | 聆思文檔中心與獲取大模型套件SDK | 聆思文檔中心。
SDK下載完成后,通過VScode打開audio_recognition_online示例模板 (D:\LISTENAI\duomotai_ap\apps\audio_recognition_online)根據自己的SDK保存路徑打開
打開src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c
這里原示例中是語音喚醒之后加載語音喚醒“小聆”之后用來模擬聲音的波浪型gif動畫,如果我們想要它加載其他GIF動畫,例如“會動的眼睛”,只需要將你想要替換的GIF動畫的格式在LVGL官網轉換為C語言數組,然后將這部分替換即可。(這里的使用的GIF分辨率為96×36)
打開LVGL官網(Image Converter — LVGL),
(我這里是翻譯了****,若網頁為英文版,按照順序點擊即可)點擊低電壓保護器v8,選擇你想要轉換的GIF,選擇顏色格式。這里demo中支持的GIF顏色格式為CF_RAW_CHROMA
轉變之后打開下載的c文件,復制全部代碼粘貼到audio_recognition_online\src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c路徑下,粘貼之后需要檢查以下三個地方:
這里我們示例模板中的GIF儲存名稱為ui_img_anim_speak_gif ,所以要將代碼中名稱的部分與GIF.C文件名稱統一。可以直接復制替換對應位置即可
#ifndef LV_ATTRIBUTE_IMG_ANIM_SPEAK
#define LV_ATTRIBUTE_IMG_ANIM_SPEAK
#endif
const LV_ATTRIBUTE_MEM_ALIGN LV_ATTRIBUTE_LARGE_CONST LV_ATTRIBUTE_IMG_ANIM_SPEAK uint8_t anim_speak_map[] = {
const lv_img_dsc_t ui_img_anim_speak_gif= {
.header.cf = LV_IMG_CF_RAW_CHROMA_KEYED,
.header.always_zero = 0,
.header.reserved = 0,
.header.w = 96,
.header.h = 36,
.data_size = 6028,
.data = anim_speak_map,
};
本文使用的聆思CSK6大模型開發板,詳細信息可參考線上文檔https://docs2.listenai.com/x/nTn9kMMCU
1、 打開 windows powershell/cmd
2、在LISTENAI\duomotai_ap路徑下輸入,開始編譯固件
lisa zep build -b csk6_duomotai_devkit apps\audio_recognition_online -p
3、固件編譯成功之后,輸入進行燒錄
lisa zep exec cskburn -s \\.\COM串口號 -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin
*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。