Що таке конструктор додатків OpenMind і як він працює?

OpenMind створює інструменти, призначені для спрощення розробки програмного забезпечення для автономних машин. У центрі цих зусиль знаходиться OM1, операційна система з відкритим кодом, розроблена для роботів та інших інтелектуальних пристроїв. Компанія часто описує OM1 як платформу робототехніки в стилі Android, що означає спільне середовище виконання, яке абстрагує відмінності в апаратному забезпеченні, дозволяючи розробникам зосередитися на поведінці та логіці.

Нещодавно OpenMind представила Конструктор додатків OpenMind, інструмент візуального налаштування на порталі розробника, який дозволяє розробникам створювати, змінювати та розгортати програми для роботів без написання коду для поширених завдань. Оголошення, зроблене через офіційний обліковий запис компанії X, супроводжувалося коротким демонстраційним відео, що показує використання продукту.

У цій статті пояснюється, що таке OpenMind App Builder, як він працює на технічному рівні та яке місце він займає в ширшій екосистемі OM1.

Яка ширша місія OpenMind?

Мета OpenMind — забезпечити автономність машин за допомогою спільних стандартів та модульного програмного забезпечення. OM1 ліцензовано за ліцензією MIT та розробляється відкрито на GitHub, де він отримав тисячі зірок та внесків спільноти. Середовище виконання розроблено для підтримки широкого спектру роботів, включаючи гуманоїдів, чотириногих, таких як серія Unitree Go, та мобільні дослідницькі платформи, такі як TurtleBot.

Команда Компанія, що підтримується Pi Network Ventures також є основним учасником Fabric Foundation, організації, що спеціалізується на стандартах для автономної координації машин та ідентифікації в мережі. Fabric просуває такі специфікації, як ERC 7777, яка визначає, як можна описувати та обмінюватися поведінкою роботів. App Builder позиціонується як практичний інтерфейс поверх цих базових систем.

Що таке конструктор додатків OpenMind

OpenMind App Builder — це візуальний інтерфейс для налаштування поведінки робота в OM1 без коду та з низьким рівнем коду. Доступ до нього здійснюється через портал розробників OpenMind після створення облікового запису. Замість написання файлів конфігурації вручну, розробники створюють додатки, збираючи візуальні вузли, що представляють режими робота, та визначаючи, як ці режими з'єднуються.

Кожна програма представлена ​​у вигляді блок-схеми. Вузли відповідають поведінковим станам, таким як вітання, навігація або відображення на карті. Переходи між вузлами визначають, коли і як робот перемикається з однієї поведінки на іншу. Отримана конфігурація зберігається та може бути розгорнута безпосередньо на сумісному обладнанні через портал.

Конструктор додатків не замінює традиційне програмування. Він радше працює поверх системи конфігурації OM1 та експортує структуровані файли конфігурації, які можна розширювати або змінювати в коді для складних випадків використання.

Відкрийте для себе перспективні проекти...

Перспективні проекти...

(Реклама)

Стаття продовжується...

Основні поняття та термінологія

Розуміння конструктора програм вимагає знайомства з кількома концепціями OM1.

Режими

Режим — це дискретний поведінковий стан. Наприклад, робот може мати режим привітання, режим навігації та режим пам'яті. Кожен режим визначає, яка мовна модель використовується, які датчики активні, які дії дозволені та доступний фоновий контекст.

Вузли та переходи

У візуальному редакторі кожен режим відображається як вузол. Переходи – це спрямовані зв’язки між вузлами. Перехід включає умови, які визначають, коли робот переходить з одного режиму в інший. Розробники можуть вказати, що голосова команда запускає перехід від режиму очікування до навігації.

Вхідні дані, дії та фони

Вхідні дані представляють датчики або джерела даних, такі як мікрофони, камери або веб-канали. Дії представляють вихідні дані, такі як команди руху, синтез мовлення або запис у пам'ять. Фонові зображення забезпечують постійний контекст, такий як місцезнаходження GPS або стан навігації.

Lifecycle hooks

Кожен режим містить перехоплювачі життєвого циклу, зокрема системне запрошення для мовної моделі. Це дозволяє розробникам контролювати поведінку моделі в заданому режимі, використовуючи інструкції природною мовою, що зберігаються як частина конфігурації.

Як Конструктор додатків працює на практиці?

Демонстраційне відео, опубліковане разом з оголошенням, показує повний робочий процес від початку до розгортання.

Вибір робота

Коли розробник відкриває Конструктор програм, першим кроком є ​​вибір машини на бічній панелі. Це пов'язує конфігурацію з певним профілем робота, включаючи його підтримувані датчики та дії. OM1 забезпечує апаратну абстракцію через спеціальний рівень, що дозволяє повторно використовувати ту саму високорівневу конфігурацію на подібних машинах.

Візуальна побудова режимів

Після вибору робота на полотні з’являється початкова блок-схема. Розробники можуть додавати нові режими, натискаючи значок із плюсом. Кожен новий режим відкриває панель редактора, де визначаються параметри.

На цій панелі розробник вибирає мовну модель зі спадного списку. Підтримувані опції включають кілька комерційних та відкритих моделей. Далі додаються вхідні дані, такі як автоматичне розпізнавання мовлення для голосового керування або зображення з камери для зору. Потім вибираються дії, такі як навігація або вивід мовлення. Також можна ввімкнути фонові зображення, такі як GPS або контекст навігації.

Усі зміни зберігаються негайно, а полотно оновлюється відповідно до поточної конфігурації.

Визначення переходів

Після створення режимів переходи визначаються перетягуванням з'єднувача з одного вузла до іншого. Це відкриває редактор правил, де задаються умови. Умови можуть посилатися на вхідні дані, внутрішній стан або інші сигнали. Наприклад, правило переходу може вказувати, що розпізнана голосова команда змушує робота вийти з режиму очікування та перейти в режим навігації.

Функція автоматичного форматування перевпорядковує полотно, щоб блок-схема залишалася читабельною в міру її зростання.

розгортання

Після завершення конфігурації розробник може розгорнути її безпосередньо з інтерфейсу. Конфігурація завантажується до робота через портал OpenMind та застосовується без ручного перенесення файлів. Для команд, які використовують OM1 локально або у виробничих конвеєрах, ту саму конфігурацію можна розгорнути за допомогою інструментів командного рядка або контейнерних робочих процесів.

Підтримувані моделі та компоненти

Згідно з OpenMind, App Builder наразі підтримує понад шість мовних моделей, понад сорок вхідних даних, тридцять дій та понад десять фонових контекстів. Ці цифри відображають модульну конструкцію OM1, де кожен компонент реалізовано як плагін.

Мовні моделі можна замінювати без переписування логіки програми. Вхідні дані та дії також взаємозамінні, якщо базове обладнання їх підтримує. Такий підхід дозволяє розробникам швидко експериментувати з різними конфігураціями, зберігаючи при цьому узгоджену структуру.

Інтеграція з OM1 та робочими процесами на основі коду

Хоча конструктор програм робить акцент на візуальній конфігурації, він розроблений для інтеграції з кодовою базою OM1.

Розробники можуть експортувати конфігурації у вигляді структурованих файлів та зберігати їх у системі контролю версій. Досвідчені користувачі можуть створювати власні вхідні дані та дії, додаючи модулі Python до відповідних каталогів у репозиторії OM1. Ці власні компоненти потім відображаються в інтерфейсі App Builder для вибору.

Для масштабного розгортання або на периферійних пристроях, таких як обладнання Nvidia Jetson, OM1 підтримує налаштування на основі контейнерів. Конструктор програм доповнює ці робочі процеси, скорочуючи час, витрачений на початкове налаштування та ітерації.

Абстракція та портативність апаратного забезпечення

Одна з основних цілей дизайну OM1 — апаратна агностицизм. Конструктор додатків відображає це, надаючи доступ лише до високорівневих моделей поведінки, а не до низькорівневого керування двигуном. Наприклад, розробник може налаштувати дію навігації, не вказуючи, як рухаються окремі суглоби.

Ця абстракція реалізована через рівень апаратної абстракції, який пов'язує дії OM1 зі специфічними для роботів комплектами розробки програмного забезпечення, такими як ROS2 або API постачальників. Як результат, ту саму логіку програми часто можна повторно використовувати для різних роботів з мінімальними змінами.

Обмеження та міркування

Конструктор додатків призначений для спрощення поширених завдань, але він не усуває необхідності інженерної оцінки.

Деякі апаратні платформи мають обмежену підтримку залежно від обчислювальних можливостей. Повні набори функцій наразі доступні на новіших системах на базі Nvidia, тоді як старіші платформи можуть вимагати компромісів. Основне середовище виконання OM1 також обмежує прямий доступ до Інтернету з міркувань безпеки та надійності, що впливає на використання зовнішніх API.

Для складної автономії розробники повинні поєднувати конфігурації App Builder із симуляцією, навчанням з підкріпленням та ретельним тестуванням. Документація OpenMind наголошує на тому, що потрібно починати з простих моделей поведінки та перевіряти їх у змодельованих середовищах перед розгортанням на реальних машинах.

Висновок

OpenMind App Builder — це візуальний інструмент конфігурації, який працює поверх середовища виконання OM1 та спрощує створення та розгортання програм для роботів. Представляючи поведінку робота як режими, переходи та модульні компоненти, він дозволяє розробникам збирати функціональні програми без написання коду для кожного кроку.

Його цінність полягає у зменшенні труднощів під час налаштування, зберігаючи при цьому сумісність із робочими процесами на основі коду. Для команд, які працюють на OM1, App Builder надає структурований спосіб проектування, тестування та розгортання поведінки роботів на різних апаратних платформах. Замість того, щоб замінити традиційну розробку, він служить інтерфейсом, який робить базову систему доступнішою та легшою для обдумування.

джерела:

• X ПостАнонсуємо конструктор додатків OpenMind 
• Портал для розробниківСтворення додатків на OpenMind