🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Всем привет!
Две недели назад писал пост про мое новое хобби по сборке робота (первый пост тут) и сегодня хочу поделиться промежуточными результатами.
В целом процесс движется, за две недели мне удалось установить на него камеру, подключить YOLO модель для распознавания изображений, сделать второй уровень конструкции, собрать и сломать роборуку, установить датчики температуры, трёхосевые акселерометр и гироскоп и в целом чем дальше я иду, тем больше сталкиваюсь с различными трудностями, которые нужно решать.
Какие сложности были за эти две недели:
1. Я понял, что из простых дешевых деталей собрать нормально работающего робота оказалось достаточно сложно, поэтому пришлось заказывать новые моторы на колесах (потому что обычные DC моторы не могут ездить медленно), также заказывать новый драйвер для управления моторами колес, который поддерживает медленную скорость.
2. Была попытка установить энкодер AS5600 на колеса, чтобы считывать угол наклона колеса и сделать возможность для робота держать постоянно одинаковую скорость, в итоге провозился пару вечеров из-за того, что энкодер работает очень плохо и при даже минимальном наклоне сразу начинает показывать неправильно углы, в итоге этот энкодер в мусорку, решение, купить сразу мотор с энкодером.
3. Омниканальный микрофон INMP441 оказался тоже слишком слаб, чтобы улавливать команды на расстоянии, в итоге заказал нормальный (как я думаю) омниканальный микрофон для конференций.
4. Понял, что без нормального обучения модель YOLO плохо распознает элементы на видео, теперь мне предстоит самостоятельно обучить модель по фотографиям квартиры, чтобы робот понимал что вокруг него вообще происходит)
5. Снизил вес робота за счет замены 12 аккумулятора на батарейки 18650, теперь он ездит получше и пошустрее.
6. Ну и написал веб приложения для управления им, там тоже было много проблем с камерой и стримминга видео, но в итоге удалось все успешно решить.
Какие планы дальше?
Обучать модель компьютерного зрения на распознавание элементов в квартире, нужно сделать примерно 500 снимков с робота, разметить их и обучить модель распознавать вещи. Ну и также приступаю к написанию голосового ИИ агента, который на первом этапе научиться нормально общаться и понимать команды.
Пока в общем так, надеюсь в ближайшем будущем смогу вам показать уже работающуу версию робота.
Если вам интересно дальше читать посты о создании собственного робота, ставьте 👍