🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Продолжаю делить процессом создания робота на базе ИИ.
За прошедшие две недели мне удалось наконец-то добраться до самого главного, подключения голосового ИИ.
Не обошлось без приключений. Самое сложное оказалось - заставить робота распознавать команду, при которой он должен включаться и записывать мой голос.
Как это работает.
Робот каждую секунду записывает аудио того, что происходит вокруг и выполняет распознавание пары секунд записи, и потом их удаляет. Изначально я пробовал делать простое распознование голоса через LLM, что в целом работает хорошо на wake-up команду, но этот подход не гуд, потому что данные постоянно отправляются во вне, а сливать все, что происходит дома как-то не правильно. В этоге решил искать решения в существующих бибилиотеках и небольших ML моделях, которые можно запускать локально на движке Rasberry PI (это микросхема с установелнной ОС Linux, где в принципе крутится весь код и является головой робота). Дня 3-4 потратил на настройку технологии KWS.
Технология KWS (Keyword Spotting) - это технология распознавания речи, которая «слушает» поток аудио и реагирует только на заранее заданные ключевые слова или фразы. Как результат, технология конечно работает, но с распознавание слов оказалось как-то не очень, возможно это связано фонетикой русского языка, но я пробовал разные варианты имплементации и нормального результата так и не смог достичь.
В итоге совместо с поиском google и chatgpt удалось найти готовый движок Vosk.
Внутри Vosk используется нейросеть для распознавания речи (ASR). Он умеет распознавать речь на многих языках прямо на устройстве, без интернета. И о чудо, робот начал подхватывать wake-up фразу мгновенно и запускать уже прослушивание команд или фраз.
Внутри робота работает ИИ агент, который по распознанной фразе определяет, какой тул использовать для выполнения задания (например, computer vision, управление моторами, получения данных с датчиков или просто пообщаться как с голосовым voice ботом).
Приехали наконец-то новые моторы с енкодерами (енкодер - это устройство, которе считает вращения колес и в дальнейшем можно использовать для поддержки одной скорости для колес) и платы драйвера для управления моторами. Но так как енкодеры китайские, а инструкции конечно же нет, пришло убить (сжечь) пару драйверов, пока разбирался, как все правильно подключить. Хорошо, что наученный опытом, я теперь заказываю больше деталей, чем мне нужно.
Что дальше. Пока жду новые крепления для задних моторов (потому что приехали пока только на передние), планирую заняться ПИД-регулятором (PID controller), один из самых распространённых алгоритмов управления. Его используют, чтобы робот мог двигаться стабильно и точно, без рывков и ошибок, ну и надо попробовать доустановить роборуку, которая у меня сломалась в прошлый раз.
Так что пока все в процессе, новый статус будет как обычно через 2 недели.