PyAi-k210 - ещё одна платформа машинного зрения на kendryte k210

Как я уже писал в одном из предыдущих обзоров, я активно слежу за развитием платформ машинного зрения на базе микроконтроллера Kendryte k210 и постоянно ищу что-то новое. Одной из последних находок для меня стала платформа PyAi-k210 от компании 01studio. У данной компании есть целая линейка платформ на базе esp8266, esp32, nrf52840, stm32, k210 объединенных общим форм-фактором и возможностью подключения к базовой плате расширения. Также в эту линейку входит OpenMV H7 со специальной платой-адаптером.



Подробнее про Kendryte K210 можно почитать в моем обзоре на платформу Maixduino. Если коротко, Kendryte K210 — это процессор RISC-V с ускорителем свёрточных нейронных сетей, который позволяет использовать недорогие, маломощные решения машинного зрения, такие как распознавание лиц или объектов.

Распиновка PyAi-k210

Конструктивно форм-фактор PyAi-k210 схож с OpenMV. Её «сердцем» является модуль M1n на базе Kendryte K210 с интерфейсом M.2, разработанный компанией Sipeed. На рынке есть несколько платформ совместимых с M1n, как от самой Sipeed так и от пользователей. Это крошечный модуль с размерами всего 26х22 мм.

Технические характеристики Sipeed M1n:
— SoC – Двухъядерный 64-битный RISC-V процессор Kendryte K210 @ с частотой до 400 МГц, с FPU, нейронным процессором (NPU), аудио процессором, встроенной памятью 6 Мб SRAM для процессора и 2 Мб может использоваться в качестве памяти AI SRAM
— Хранилище – 128 Мб SPI флэш-памяти
— Камера – 24-контактный разъем для DVP камеры
— Хост интерфейс – M.2 разъем с некоторыми входами и выходами и интерфейсом JTAG
— Напряжение питания – 5.0 В ± 0.2 В при при токе потребления ~ 300 мА
— Температурный диапазон – от -30°C до 85 °C

Платформа поставляется в удобном пластиковом боксе.

В комплекте: Сама платформа PyAi-K210 с установленным модулем Sipeed M1n, модуль камеры OV2640, 2,8" дисплей c разрешением 240*320 пикселей и резистивным тачскрином, 2 FPC шлейфа для модуля камеры и дисплея, micro-USB кабель. Дисплей основан на контроллере ST7789, за работу тачскрина отвечает контроллер NS2009. При желании все компоненты можно приобрести по отдельности.

Так выглядит плата с установленным модулем камеры

Сравнение PyAi-k210 и OpenMV

Производитель предоставляет всю необходимую документацию и ПО для начала работы с платформой. Документация на китайском, но это не проблема, так как все примеры программ можно взять на официальной странице Sipeed на github. Все примеры работают корректно. Среди прочего в документации также присутствует довольно объемная книга, посвященная началу работы со всеми платформами линейки с поддержкой Micro-Python. Надеюсь, книга будет переведена на английский.

Долгое время руки не доходили до тестирования обучения нейронной сети на собственных данных, и долго не мог придумать, какие объекты использовать для этого. В итоге для теста решил сделать распознавание овощей: лук, чеснок, помидор, картошка. Практической пользы в этом, конечно, никакой. Инструкцию по обучению модели с помощью maixhub убрал под спойлер.


Первая попытка оказалась неудачной. Я сделал множество фотографий овощей по отдельности на трех разных фонах для классификации и 72 фотографии всех овощей вместе для детектирования. Я невнимательно читал инструкцию и не выполнил условие по количеству фотографий для детектирования (>100 на класс). Модель, обученная классификации, не давала правильного результата, модель детектирования не работала вообще и не находила ни один объект.

Для второй попытки я добавил к набору совместных фото фотографии овощей по отдельности. В итоге получилось 467 фотографий с 649 помеченными регионами, таким образом на каждый класс приходится порядка 150 регионов. Обучение заняло несколько большее время, порядка 10 минут в отличие от пары минут для первого набора. Но я столкнулся с небольшой проблемой: овощи, использованные для фотосета были съедены, все кроме чеснока) Так как я использовал для обучения один экземпляр каждого объекта, а следовало несколько разных экземпляров, я предполагал, что другие экземпляры не будут распознаваться. В итоге: чеснок детектируется уверенно, помидор, «пожожий» на использованный, тоже хорошо, картошка, несмотря на то, что она несколько отличается по форме и по цвету от использованной в фотосете тоже детектируется. А вот лук не детектируется, так как для фотосета использовался красный, а в наличии только белый. Уверенность детектирования во всех случаях небольшая и составляет порядка 0,6.

Также я пробовал использовать набор изображений из интернета. Набор содержит 2520 изображений рук для игры «Камень, ножницы, бумага». В этот раз обучение происходило гораздо дольше и заняло не меньше 30 минут. Но результат также неоднозначный: уверенно определяется «Камень» и «Ножницы» а «Бумага» не распознается вообще.

Главный и очевидный вывод, который можно сделать — качество обучения модели очень сильно зависит от набора исходных данных. И для практического использования детектирования объектов может потребоваться много времени на подготовку набора данных, чтобы получить в итоге результат с большой уверенностью.

В видео кратко показан процесс обучения модели и примеры детектирования и классификации на основе обученных моделей.

Заключение

В сравнении с maixduino, рассмотренной ранее, можно выделить следующие особенности PyAi-k210
плюсы:
— поддержка питания от аккумулятора со схемой его зарядки и защиты
— камера с объективом M12, что дает возможность его смены
— возможность изменения положения камеры
— интерфейс для подключения микрофонного массива
— более удобное подключение дисплея
— дисплей большего размера с тачскрином
— встроенный RGB-светодиод
минусы:
— отсутствие встроенного микрофона, модуль микрофона необходимо приобретать отдельно
— отсутствие встроенного ЦАП и усилителя, модуль ЦАП и усилителя также необходимо приобретать отдельно
— отсутствие встроенного WiFi-модуля
— более высокая цена

В заключение резюмирую свои впечатления. Платформа PyAi как и прочие платформы на базе K210 однозначно заслуживает внимания. Форм-фактор OpenMV в сочетании с модульностью, мне кажется очень удобным. Возможность автономной работы от аккумулятора — большой плюс. У меня в планах есть несколько проектов, в которых я бы хотел использовать именно эту платформу. Мой интерес к теме машинного зрения не исчерпан и я продолжу следить за новинками.