ESP_MASTER

Видеопрезентация: https://www.bilibili.com/video/BV1SM4y1V7Yb

Это комплексный проект, который объединяет мощные вычислительные возможности ESP32 с такими функциями, как распознавание речи, распознавание изображений, обучение GUI и FFT-анализ музыкального спектра. Он подходит для изучения алгоритмов распознавания изображений и создания интерфейсов UI на основе LVGL.

Функции:

1. Распознавание речи. Цифровой микрофон подключается к ESP32 через I2S, затем происходит офлайн-распознавание с помощью esp-skainet. Пользователь может настроить до 100 командных слов.
2. Распознавание объектов и текста (например, автомобильных номеров). Изображение, полученное с камеры, преобразуется в JPG, кодируется с использованием base64 и urlcode и отправляется в облачный сервис Baidu для распознавания. Результаты отображаются пользователю.
3. Распознавание цветов. Изображение, полученное с камеры, преобразуется из RGB в HSL. Затем выполняется распознавание цветовых блоков, и определяются координаты каждого блока.
4. Управление бытовой техникой. С помощью голосовых команд можно настроить тип кондиционера (поддерживаются бренды Gree и Midea), а также управлять им. Библиотека кодов для кондиционеров предоставляется IREXT и хранится во флэш-памяти spiffs.
5. LVGL. Основан на LVGL 7.6.0 и включает более 10 переключаемых интерфейсов.
6. Кнопки ADC. В случае нехватки выводов на ESP32, можно использовать один вывод для считывания состояния трёх кнопок с помощью резистивного деления.
7. FFT-спектр. Цифровой микрофон соединяется с ESP32 через I2S. Программное обеспечение FFT используется для анализа спектра звука, результаты которого отображаются с помощью LVGL img.
8. Мини-игры. Перенос игр «2048» и «Змейка».
9. Ежедневный куриный бульон. После входа в соответствующий интерфейс случайным образом выбирается фраза, которая отображается пользователю.

Языки и инструменты:

Программное обеспечение

• esp-idf v4.4
• Компоненты:
  • esp-who
  • esp-sr
  • esp-skainet
  • esp-camera

Аппаратное обеспечение

• ESP32-D0WD-V3/ESP-WROVER-B
• PSRAM: 4 Мб
• Flash: 16 Мб
• Встроенный микрофон MSM261S4030H0
• Три кнопки ADC в одном выводе GPIO
• IMU: MPU6050
• Датчики: OV2640/OV7725/OV5640/OV7670
• ST7789 IPS 240x240 1,3"/1,54'
• USB Type-c

Графический интерфейс

• LVGL

Шрифт

• Умный чёрный шрифт Али Ханьи

Изображения:

Благодарности

Этот проект основан на многих открытых проектах, и автор выражает благодарность следующим открытым авторам за предоставленные идеи:

• WatchX
• offasr
• Маленький телевизор Би-би-си

Запрет коммерческого использования

Проект имеет открытый исходный код под лицензией CC-BY-NC-SA 3.0 («Знание — совместное использование — указание авторства — некоммерческое использование — совместное распространение 3.0»). Он предназначен только для личного обучения и использования (чтобы предотвратить продажу материалов на вторичном рынке).