Skip to content
nxtinno

Prípadová štúdia

ESP32 edge AI akustický senzorický uzol

Návrh a implementácia ESP32-S3 edge zariadenia pripraveného do terénu, ktoré spúšťa akustickú ML inferenciu lokálne, posiela kompaktnú LoRaWAN telemetriu, zbiera označené tréningové dáta a poskytuje lokálnu web konzolu pre nasadenie a obnovu.

  • ESP32-S3
  • ESP-IDF
  • TensorFlow Lite Micro
  • LoRaWAN

Kontext

Použitie v teréne potrebovalo lokálnu akustickú detekciu na miestach, kde bolo streamovanie surového zvuku do cloudu nepraktické pre šírku pásma, konektivitu, súkromie a prevádzkové obmedzenia.

Výzva

Zariadenie muselo nepretržite počúvať, spúšťať kompaktný ML model, komunikovať cez obmedzené rádio s dlhým dosahom, zbierať obnoviteľné tréningové dáta, podporovať etapovité oživovanie hardvéru a zostať servisovateľné pre operátorov bez vývojárskeho zázemia priamo v teréne.

Obmedzenia

  • záznam zvuku a inferencia v reálnom čase v rámci pamäťových a výkonových limitov ESP32-S3
  • kompaktná telemetria vhodná pre LoRaWAN payload a obmedzenia duty cyklu
  • trvalý záznam tréningových dát, keď nie je dostupné nahrávanie cez sieť
  • lokálne rozhranie pre operátora bez závislosti na cloudovej konektivite
  • bezpečné aktualizácie firmvéru, modelov, sidecarov a konfigurácie po nasadení

Prístup

  • Postavil som firmvérovú architektúru na ESP-IDF okolo extrakcie log-mel príznakov priamo na zariadení a INT8 inferencie v TensorFlow Lite Micro.
  • Navrhol som spracovanie stavov detekcie s prahmi, potvrdzovacími rámcami, cooldownmi, sledovaním konfidencie a históriou udalostí, aby telemetria reprezentovala prevádzkové udalosti, nie surové výkyvy modelu.
  • Implementoval som záznam označeného zvuku prioritne na SD kartu so synchronizáciou na pozadí, pričom lokálne dáta zostali zdrojom pravdy v prostredí so slabou sieťou.
  • Vytvoril som lokálnu web konzolu, stavové zobrazenia na e-ink displeji, RGB signalizáciu stavu, GPS a batériovú telemetriu a OTA cesty aktualizácií pre prevádzku v teréne.

Architektúra

Firmvérový stack na ESP32-S3 zachytáva zvuk z I2S mikrofónu, odvodzuje log-mel príznaky, spúšťa INT8 inferenciu v TensorFlow Lite Micro, spravuje detekčné udalosti, zapisuje označené nahrávky na SD kartu, hlási stav a detekcie cez LoRaWAN a cez lokálnu web konzolu sprístupňuje provisioning, stav, úložisko, tréning a aktualizácie.

Produkčný RAG a agentický workflowZdrojové systémydokumenty · dáta · APIIngestianormalizácia · delenieRetrievalhybridný · filtrovanýModel + nástrojeMCP · ohraničený prístupGuardrailyevaluácia · schválenieSpoľahlivý výstupsledovaný · ozdrojovaný
Zhrnutie diagramu: zdrojové systémy napájajú pipeline ingestie a delenia na časti; retrieval a zostavenie kontextu ukotvia model, ktorý koná cez ohraničené MCP nástroje; evaluácia a guardraily sledujú každý krok skôr, než sa odpoveď alebo zásah dostane k používateľovi.

Kľúčové rozhodnutia

  • lokálna inferencia namiesto streamovania surového zvuku
  • záznam tréningových dát prioritne na SD kartu, so synchronizáciou ako vrstvou na pozadí
  • kompaktné LoRaWAN payloady udalostí a stavu namiesto univerzálneho vzdialeného prístupu
  • operátorské rozhranie zariadenia chápané ako súčasť produktu, nie ako ladiaca plocha

Detaily sú anonymizované. Ďalší kontext je dostupný pod NDA.

Súvisiaca expertíza

AI systémy a agentické workflowySoftvérová architektúraProduktové inžinierstvo

Zaujíma vás, čo by AI dokázala vo vašej firme?

Prineste otázky – aj tie, ktoré vám pripadajú príliš základné. Za 30 minút si prejdeme, ako dnes pracujete, vyberieme úlohu s najväčším prínosom a načrtneme, čo by jej otestovanie obnášalo. Žiadne presviedčanie, žiadny záväzok.

Rezervovať nezáväzný hovor

Radšej email? hello@nxtinno.com