Skip to content
nxtinno

Prípadová štúdia

Akustický senzor s AI priamo v zariadení (ESP32)

Návrh a vývoj zariadenia na ESP32-S3 pripraveného do terénu: rozpoznáva zvuky pomocou ML priamo v zariadení, posiela úsporné správy cez LoRaWAN, zbiera označené dáta na trénovanie a má lokálnu webovú konzolu na nasadenie a obnovu.

  • ESP32-S3
  • ESP-IDF
  • TensorFlow Lite Micro
  • LoRaWAN

Kontext

Použitie v teréne potrebovalo lokálnu akustickú detekciu na miestach, kde bolo streamovanie surového zvuku do cloudu nepraktické pre šírku pásma, konektivitu, súkromie a prevádzkové obmedzenia.

Výzva

Zariadenie muselo nepretržite počúvať, spúšťať kompaktný ML model, komunikovať cez obmedzené rádio s dlhým dosahom, zbierať obnoviteľné tréningové dáta, podporovať etapovité oživovanie hardvéru a zostať servisovateľné pre operátorov bez vývojárskeho zázemia priamo v teréne.

Obmedzenia

  • záznam zvuku a inferencia v reálnom čase v rámci pamäťových a výkonových limitov ESP32-S3
  • úsporné správy, ktoré sa zmestia do limitov LoRaWAN na veľkosť a čas vysielania
  • trvalý záznam tréningových dát, keď nie je dostupné nahrávanie cez sieť
  • lokálne rozhranie pre operátora bez závislosti na cloudovej konektivite
  • bezpečné aktualizácie firmvéru, modelov, doplnkových komponentov a konfigurácie po nasadení

Prístup

  • Postavil som firmvérovú architektúru na ESP-IDF okolo extrakcie log-mel príznakov priamo na zariadení a INT8 inferencie v TensorFlow Lite Micro.
  • Navrhol som vyhodnocovanie detekcií s prahmi, potvrdzovacími oknami, ochrannými pauzami, sledovaním istoty modelu a históriou udalostí, aby zariadenie hlásilo skutočné udalosti, nie každý výkyv modelu.
  • Implementoval som záznam označeného zvuku prioritne na SD kartu so synchronizáciou na pozadí, pričom lokálne dáta zostali zdrojom pravdy v prostredí so slabou sieťou.
  • Vytvoril som lokálnu web konzolu, stavové zobrazenia na e-ink displeji, RGB signalizáciu stavu, GPS a batériovú telemetriu a OTA cesty aktualizácií pre prevádzku v teréne.

Architektúra

Firmvérový stack na ESP32-S3 zachytáva zvuk z I2S mikrofónu, odvodzuje log-mel príznaky, spúšťa INT8 inferenciu v TensorFlow Lite Micro, spravuje detekčné udalosti, zapisuje označené nahrávky na SD kartu, hlási stav a detekcie cez LoRaWAN a cez lokálnu web konzolu sprístupňuje provisioning, stav, úložisko, tréning a aktualizácie.

Ako AI asistent odpovedá z vašich dokumentov

V skratke: Odpovedá len z vašich dokumentov, ukáže, odkiaľ každá odpoveď pochádza, a pred dôležitým krokom sa opýta.

  1. Vaše dokumentyManuály, zmluvy a súbory, ktoré už máte.
  2. UsporiadanéVšetko sa rozdelí na malé časti, v ktorých sa dá ľahko hľadať.
  3. Nájdu sa správne častiKu každej otázke sa vyberú najrelevantnejšie pasáže.
  4. Odpoveď sa napíšeAI napíše odpoveď len z týchto pasáží.
  5. Dvakrát skontrolovanéPravidlá odpoveď overia; čokoľvek riskantné počká na človeka.
  6. Odpoveď so zdrojomDostanete odpoveď aj s odkazom, odkiaľ pochádza.

Kľúčové rozhodnutia

  • lokálna inferencia namiesto streamovania surového zvuku
  • záznam tréningových dát prioritne na SD kartu, so synchronizáciou ako vrstvou na pozadí
  • úsporné LoRaWAN správy o udalostiach a stave namiesto plného vzdialeného prístupu
  • operátorské rozhranie zariadenia chápané ako súčasť produktu, nie ako ladiaca plocha

Detaily sú anonymizované. Ďalší kontext je dostupný pod NDA.

Súvisiaca expertíza

AI systémy a AI agentiSoftvérová architektúraProduktové inžinierstvo

Zaujíma vás, čo by AI dokázala vo vašej firme?

Prineste otázky – aj tie, ktoré vám pripadajú príliš základné. Za 30 minút si prejdeme, ako dnes pracujete, vyberieme úlohu s najväčším prínosom a načrtneme, čo by jej otestovanie obnášalo. Žiadne presviedčanie, žiadny záväzok.

Rezervovať nezáväzný hovor

Radšej email? hello@nxtinno.com