[Udemy] Создайте ИИ-робота с использованием Android-смартфона, ESP32 и micro:bit [Пол Чин]

[Robot]

Ссылка на картинку

Оживите своего собственного персонального спутника с искусственным интеллектом! В этом практическом курсе вы научитесь создавать интерактивного, выразительного робота по имени SAM (Simulated Autonomous Multi-Intelligence), работающего на Android-смартфоне и плате разработки ESP32 или наборе Micro:bit. Используя MIT App Inventor в качестве основного инструмента разработки, вы увидите, насколько просто создавать сложные ИИ-приложения с помощью его интуитивной блочной системы программирования — идеально для новичков и доступно даже без предварительного опыта программирования.
Android-телефон будет служить «мозгом» вашего робота, обеспечивая распознавание речи, естественное общение, личность, преобразование текста в речь, отслеживание лица, распознавание объектов и лицевые выражения прямо на экране. ESP32 (или micro:bit) выступает телом робота, управляя моторами и простой аппаратной частью, которые оживляют вашу разработку. Для сборки физического робота вам понадобится лишь несколько недорогих и легко доступных компонентов, поэтому проект остаётся доступным и дружелюбным для новичков.
Инструменты и программное обеспечение (всё бесплатно)
MIT App Inventor и Microsoft MakeCode — это веб-инструменты, которые работают прямо в браузере и не требуют установки. Arduino IDE также можно бесплатно скачать и использовать. Для продвинутых ИИ-функций вы можете по желанию использовать OpenAI API, для чего потребуется создать API-ключ. Это необязательно, а расходы на использование обычно очень низкие. В зависимости от вашей конфигурации также можно использовать бесплатные или локальные альтернативы.
Обратите внимание, что этот курс задуман как гибкий, и вы не обязаны покупать какое-либо оборудование, если не хотите.
Вы можете выбрать один из следующих трёх подходов:
Три способа собрать вашего ИИ-робота (важно!)
1. Автономный робот SAM (дополнительное оборудование не требуется)

• Создайте SAM, используя только Android-телефон и блочное программирование в MIT App Inventor
• Сконцентрируйтесь на ИИ, речи, зрении и больших языковых моделях (LLM)
• Идеально, если вы хотите изучить концепции ИИ-робота без затрат на электронику

2. Робот SAM + ESP32

• Используйте ESP32 для управления моторами — программирование через Arduino IDE
• Android-телефон остаётся ИИ-«мозгом» — создаётся с помощью блочного программирования в MIT App Inventor
• Отлично подходит для новичков, которым нужна практическая робототехника с минимальной сложностью
• SAM (Android-телефон) отправляет команды Bluetooth Classic на ESP32

3. Робот SAM + micro:bit

• Используйте micro:bit для более продвинутого управления и расширения — программирование с помощью блочного программирования в Microsoft MakeCode
• Подходит для студентов, которым нужна большая гибкость и производительность
• Включает возможность использовать встроенные датчики, уже доступные в наборе micro:bit, для более богатого взаимодействия
• SAM (Android-телефон), созданный с помощью блочного программирования в MIT App Inventor, отправляет Bluetooth BLE-команды на micro:bit

Покупка оборудования ESP32 или micro:bit не является обязательной.
Вы можете полностью пройти и получить пользу от этого курса, создав автономного робота SAM только с помощью Android-телефона.
Фокус курса: общение важнее аппаратной сложности
В своей основе главная цель этого курса — исследовать общение, личность и взаимодействие, а не сложную или высокоточную аппаратную инженерию.
Этот курс не сосредоточен на создании роботов, которые автономно перемещаются в сложной среде, выполняют высокоточные движения или реагируют на физический мир с механической точностью. Вместо этого акцент делается на обучении созданию робота, который ощущается как присутствующий, увлекательный и personable — того, кто слушает, говорит, вдумчиво отвечает и создаёт ощущение связи с пользователем.
Вы сосредоточитесь на создании личности, разговорного поведения, выражений и ИИ-взаимодействия, используя программное обеспечение и интеллект, а не сложное оборудование. Аппаратная часть, когда используется, служит простым расширением присутствия робота, а не центральным элементом опыта.
Такой подход позволяет сосредоточиться на том, что делает робота живым: общение, выражение, понимание контекста и осмысленное взаимодействие.

Вдохновение и философия

Этот курс был вдохновлён роботом LOOI. LOOI демонстрирует мощную идею использования смартфона как центрального интеллекта персонального робота — с применением экрана, камеры, микрофона, динамиков и ИИ-возможностей телефона для создания естественного взаимодействия, выразительной визуализации и разговорного поведения. Его доступный форм-фактор и акцент на личности, присутствии и человекоподобном взаимодействии показывают, насколько убедительными могут быть роботы, построенные вокруг устройств, которые у многих уже есть. SAM следует той же базовой философии, переводя её в дружелюбный для новичков учебный проект, который вы можете полностью собрать, настроить и понять с помощью доступных инструментов и оборудования.
Этот курс поможет вам создать робота, который слушает ваш голос, отвечает речью и ведёт осмысленные разговоры с использованием современных ИИ- и LLM-технологий. Ваш робот сможет рассказывать шутки, составлять компанию, отвечать на вопросы и вести себя как дружелюбный персональный помощник. С помощью датчиков и камеры телефона вы добавите возможность отслеживания пользователя и объектов, чтобы робот мог автоматически поворачиваться к пользователю лицом, создавая эффект живого присутствия.
Вы также создадите выразительные цифровые глаза, которые моргают, следят за пользователем и показывают эмоции, а также получите возможность создать собственные лица или анимации. По ходу курса вы получите базовые навыки Bluetooth-связи, интеграции ИИ и LLM, распознавания речи, преобразования текста в речь, распознавания лиц, поведения чат-бота, отслеживания объектов и многого другого.
К концу этого курса у вас будет полностью функциональный робот на базе ИИ, который объединяет аппаратную часть, программное обеспечение, креативность и разговорный интеллект — и всё это будет создано вами с нуля!
Записывайтесь сегодня и присоединяйтесь ко мне, чтобы оживить вашего ИИ-робота — и вашу креативность!

Для кого этот курс:

1. Новички, интересующиеся ИИ и робототехникой и желающие начать с простого и понятного проекта
2. Студенты и любители, которые хотят собрать настоящего интерактивного ИИ-робота из недорогих деталей
3. Мейкеры и энтузиасты DIY, которые хотят объединить аппаратную часть, программное обеспечение и креативность в одном проекте
4. Преподаватели и STEM-наставники, которые хотят обучать ИИ, программированию и робототехнике через практические занятия

Требования:

1. Android-телефон. Это единственное обязательное устройство. Электронное оборудование (ESP32 или набор micro:bit) является необязательным
2. ПК с Windows. Используется для MIT App Inventor, Microsoft MakeCode и настройки ESP32 (если применимо)
3. Необязательно: базовые знания электроники (начальный уровень). Нужны только в том случае, если вы решите собирать физического робота с использованием ESP32 или micro:bit. Достаточно уметь подключать простые компоненты
4. Готовность изучать блочное программирование. Предварительный опыт программирования не требуется. MIT App Inventor и Microsoft MakeCode дружелюбны для новичков и используют блочный (визуальный) подход
5. Интерес к ИИ, робототехнике или DIY-проектам. Любопытство важнее технического бэкграунда
6. Необязательно (только для пользователей ESP32): полезно базовое знакомство с Arduino IDE, если вы выберете путь робота на ESP32. Все необходимые шаги полностью показаны в курсе
7. Для продвинутых ИИ-функций вы можете по желанию использовать OpenAI API, для чего потребуется создать API-ключ. Это необязательно, а расходы на использование обычно очень низкие. В зависимости от вашей конфигурации также можно использовать бесплатные или локальные альтернативы

Чему вы научитесь:

1. Создавать полностью функционального ИИ-робота на базе Android-телефона с использованием ESP32, набора micro:bit или только автономного телефона
2. Использовать блочное программирование MIT App Inventor для создания интерактивного Android-приложения без предварительного опыта программирования
3. Понимать и реализовывать Bluetooth-связь между Android-телефоном (мозгом) и ESP32 (телом) или набором micro:bit
4. Интегрировать диалог на базе LLM, чтобы робот мог говорить, отвечать и вести осмысленные взаимодействия
5. Использовать распознавание речи и преобразование текста в речь, чтобы дать роботу естественный голосовой интерфейс
6. Отображать выразительные цифровые глаза, которые моргают, отслеживают пользователей и показывают эмоции на экране телефона
7. Добавлять распознавание лиц и отслеживание объектов, чтобы робот мог автоматически поворачиваться к пользователю и следовать за ним
8. Управлять моторами и простой аппаратной частью, чтобы анимировать и двигать робота в реальном времени
9. Реализовывать функции чат-бота, такие как шутки, эмоциональные ответы и персонализированные разговоры
10. Настраивать внешний вид и поведение робота, включая необязательные лицевые анимации или изменения личности
11. Устранять неполадки и отлаживать типичные проблемы в Bluetooth- и BLE-связи, управлении моторами и логике приложения
12. Применять базовые концепции робототехники, ИИ, LLM, датчиков и разработки мобильных приложений
13. Повысить уверенность в объединении аппаратной части и программного обеспечения для создания реальных интерактивных ИИ-проектов

Материалы курса:

Что мы создаём

1. Введение
2. Что мы будем создавать

Создание корпуса робота

1. Необходимые аппаратные компоненты
2. Припаивание проводов к моторам
3. Сборка шасси робота — часть 1
4. Сборка шасси робота — часть 2
5. Модернизация аккумулятора

Программирование ESP32

1. Установка Arduino IDE
2. Как работает управление ESP32
3. Тестирование управления ESP32

Программирование Android-телефона

1. Настройка App Inventor
2. Bluetooth-связь
3. Распознавание речи
4. Распознавание лица
5. Отслеживание лица
6. Глаза робота
7. Чат-бот
8. Создание APK-приложения

Добавление новых функций

1. Голосовая команда для Bluetooth и сна
2. Создание собственного расширения камеры
3. Распознавание изображений
4. Создание собственного расширения для чат-бота

Локальный запуск LLM

1. Установка LM Studio
2. Запуск Sam с локальной LLM

Необязательное обновление Microbit

1. Обновление Microbit
2. Необязательное обновление аккумулятора для Microbit Sam
3. Программирование micro:bit
4. Программирование Android-телефона для micro:bit

Ввод IP, дальнейшие улучшения и устранение неполадок

1. Демонстрация ввода IP
2. Объяснение того, как работает кнопка IP и другие улучшения
3. Устранение типичных проблем с Sam

Долговременная память и Sam API

1. Введение в Sam API
2. Установка Sam API
3. Как работает Sam API

Ресурсы для дальнейшего изучения

1. Ресурсы для дальнейшего изучения

Читать далее...

Показать больше