cherryFly

Это устройство для умного управления, основанное на облачной технологии распознавания голоса. Его можно сравнить с Amazon Echo или Alibaba Tmall Genie, однако он реализован на основе микроконтроллера. Центральный процессор — stm32f407vet6, wm8978 и esp8266. Эти компоненты выполняют роли основного контроллера, аудио DA/ADC и сетевой связи соответственно. Также требуется SD-карта для предоставления хранения данных.

На уровне программного обеспечения используется FreeRTOS. После завершения инициализации аппаратной части и запуска FreeRTOS, wm8978 начинает собирать звуковые сигналы окружающей среды. Здесь используется простой алгоритм VAD (Voice Activity Detection) на основе кратковременного количества переходов через ноль и энергии звука для автоматической записи. По окончании записи, она передается на сервер распознавания речи Baidu Cloud для анализа, после чего принимаются результаты распознавания и выполняются соответствующие действия, такие как воспроизведение музыки.## Описание

• Audio каталог содержит код, связанный с аудио, включая драйверы для wm8978, декодеры, воспроизведение и запись аудио. В этом каталоге также находится сторонняя библиотека декодирования MP3 "HelixMP3Decoder".
• Fatfs каталог содержит код для файловой системы FATFS, которая должна работать с SD-картой.
• File каталог содержит некоторые базовые файлы обратной связи, такие как wav-файлы, а также схему устройства.
• FreeRTOS каталог содержит код для FreeRTOS.
• Led каталог содержит пример использования LED на основе результатов распознавания. При воспроизведении музыки проводится спектральный анализ, что приводит к изменению цвета LED.
• Libraries каталог содержит библиотеки для серий STM32F4.
• MDK каталог содержит проектные файлы.
• Network каталог содержит код, связанный с сетью, такой как драйверы ESP8266, кодеки и сетевые соединения.
• Peripherals каталог содержит драйверы для периферий STM32F4, некоторые из которых тесно связаны с FreeRTOS, например, драйверы последовательного порта.
• Public каталог содержит базовые функции, такие как функции журналирования.
• Shell каталог содержит реализацию простого человека-машинного взаимодействия. Благодаря этому коду можно использовать Xshell и другие программы для подключения через последовательный порт к STM32 и выполнения некоторых простых команд, аналогично работе с Linux системой.Для перемещения этого Shell достаточно предоставить три функции: getchar, putchar и puts.## Использование Для подключения к Wi-Fi вам потребуется настроить вашу Wi-Fi сеть в файле network.c. Для использования сервиса распознавания речи от Baidu Cloud вам потребуется зарегистрироваться в качестве разработчика на сайте Baidu Speech и получить свой токен. Этот токен следует конфигурировать в файле netvoc.c.

Дополнительно

Этот проект был создан мной во время обучения в университете. Он начался с STM32FL03 без операционной системы до текущей версии на основе STM32F407 с FreeRTOS. Проект занял около двух лет времени и стал моей выпускной работой.

Хочется выразить благодарность Li Zhang (проектировщику аппаратной части этого выпуска) и Chenlei Zhang за предоставленную помощь.

Процесс создания этого проекта продемонстрировал мне, что область электроники и электротехники очень глубока. В настоящее время я сменил направление на компьютерные науки, поэтому данный проект будет поддерживаться только для исправления ошибок, новые функции больше не будут добавляться.