Robotsensorstakken

En moderne robot med ben leveres med et sted mellem femten og fyrre forskellige sensorkanaler, afhængigt af hvordan man tæller. Markedsføringsbilledet viser to - LiDAR-tårnet på toppen og dybdekameraet på hovedet. De andre otteogtredive er inde i brystet, i leddene, på fødderne og (i stigende grad) i fingrene. Det er dem, der gør forskellen på "robotten rejste sig" og "robotten rejste sig, vidste hvor den var, og besluttede, hvad den skulle gøre nu".

Denne artikel gennemgår, hvad der rent faktisk er på en humanoid eller firbenet model fra 2026, hvad hver sensor bruges til, hvilke troværdige muligheder der er på hvert niveau, og den ærlige vurdering af, hvilke der er oversolgt. De tidligere artikler i denne serie - R01 og R02 - angav sensorer pr. platform. Denne er referencen.

To verdener: proprioceptiv og eksteroceptiv

Enhver robotsensor falder i en af ​​to kategorier, og opdelingen er vigtig, fordi de to verdener har meget forskellige budgetter for latenstid, nøjagtighed og fejltilstand.

Proprioceptive sensorer fortæller robotten om sig selv: hvor dens led er, hvor hurtigt de bevæger sig, hvilken vej der er nedad, og om en fod er på jorden. Disse kører med høje hastigheder (200 Hz til 2 kHz), de er deterministiske, de kan ikke tolerere jitter, og de lever på realtidsmotorstyringsbussen. Hvis en af ​​dem lyver, falder robotten inden for 50 ms.

Eksteroceptive sensorer fortæller robotten om verden: kameraer, dybdesensorer, LiDAR, mikrofoner, taktile puder. Disse kører langsommere (10-60 Hz), de er statistiske (hver dybdepixel har støj, hver LiDAR-retur har reflektionsskalering), og de er forbundet med perceptionsbussen - Ethernet eller USB i applikationsprocessoren. Hvis en af ​​dem fejler, stopper robotten med at bevæge sig, men falder ikke.

En nyttig mental model: proprioception er det, der holder robotten oprejst. Eksteroception er det, der gør den nyttig. Man kan ikke bytte den ene ud med den anden.

IMU'en — sensoren, alt andet hænger af

Inertialmåleenheden er den vigtigste sensor på en robot med ben. Den giver treakset acceleration og treakset vinkelhastighed (en 6-DoF IMU) eller disse plus magnetometer (9-DoF). Kontrolsløjfen aflæser den ved 1 kHz eller højere og bruger den til at estimere kroppens orientering, udlede balancefejl og forudsige det næste halve trin.

En humanoid fra 2026 bærer typisk to IMU'er (en i bagagerummet, en i hovedet), og de mere kapable platforme tilføjer én pr. fod. Firbenede dyr bruger normalt én i kroppen og udleder fodtilstand fra ledmoment snarere end inerti pr. fod.

BMI088 er virkelig arbejdshesten. Den er designet til droner og robotteknologi, gyroen er klassificeret til ±2000 °/s drejning, og den overlever vibrationsspektret, som en gående humanoid producerer. ICM-42688 fra TDK er alternativet, der dukker op i omkostningsdrevne konstruktioner. VectorNav er trinet op, når du rent faktisk har brug for udendørs ydeevne i kursklasse, hvilket de fleste indendørs humanoider ikke har.

IMU'en er også det, der muliggør ZUPT (zero-velocity update) - tricket, hvor foden under ståfasen af ​​et skridt vides at være stationær, så du kan bruge dette interval til at nulstille hastighedsestimatet i SLAM-pipelinen. Uden ZUPT dræber beregningsmæssig drift VIO og LIO over minutter. Med den falder driften med en størrelsesorden. En robot uden en IMU pr. fod eller pr. ben mister denne mulighed, hvilket er en af ​​grundene til, at avancerede forskningshumanoider placerer IMU'er i fødderne.

Fælden man skal undgå: samplingrate-markedsføring. En 2 kHz IMU ved 5 °/t bias er meget værre end en 400 Hz IMU ved 0.5 °/t bias til enhver opgave, der er længere end ti sekunder. Aflæs bias-stabilitetstallet, ikke den overordnede hastighed.

Fælles encodere — den følelse, som specifikationsarket skjuler

Hvert aktiveret led har mindst én encoder. De fleste produktions-humanoide og firbenede dyr bruger to pr. led - en absolut encoder på udgangsakslen (for sikkerhed og opstart) og en inkrementel encoder på motoren (for hastighedsfeedback med høj opløsning). Denne dobbelte encoder-opsætning er forskellen mellem en forskningsprototype og noget, du kan lade køre natten over.

De to dominerende familier:

• Magnetiske absolutte encodere. AS5048 og efterfølgere (ams-osram), MT6816, AS5047. 14-bit opløsning = 16,384 tællinger pr. omdrejning = 0.022° nativ nøjagtighed. Efter mikrocontroller-linearisering er ~0.05° opnåelig. Kontaktløs, ingen mekanisk slitage, modstår stød og vibrationer. Standarden.
• Optiske encodere. Højere opløsning i den høje ende (20-bit, ~0.0003°), bedre i rene industrielle miljøer. Men de har en glasskive, de skal justeres, og de elsker ikke et robotbens vibrationsspektrum. Man ser dem i kirurgiske og præcisionsrobotter til laboratorier, ikke i gangplatforme.

Afvejningen er ligetil: magnetiske encodere er det rigtige svar til ben og de fleste arme; optiske encodere dukker op i håndleds- og fingerled på avancerede, behændige hænder, hvor du virkelig har brug for den sidste decimal.

Kalibreringsdrift er den fejltilstand, som ingen advarer dig om. Encodere er nøjagtige, men refererer til et nulpunkt, der er indstillet ved opstart eller idriftsættelse. Over tid forskydes det mekaniske forhold mellem encoder og led med tiendedele af en grad på grund af termiske cyklusser, slid på harmoniske gear og stød. Produktionsimplementeringer kræver en nulstillingsprocedure (normalt kvartalsvis) og en overvågningstærskel, der udløser en alarm, når led-nuldrift overstiger specifikationerne. Ved at springe dette over, begynder en robot, der var perfekt ved installationen, at tabe objekter seks måneder senere.

Dybdekameraer — den ultimative arbejdshest inden for perception

RGB-D-hovedkameraet er den mest anvendte eksteroceptive sensor i robotteknologi med ben i 2026. Det er godt nok til at undgå forhindringer, klassificere terræn på en til tre meters afstand, detektere gribepunkter på et bord og registrere kortdistance-SLAM. Tre teknologier konkurrerer:

De to produktfamilier, der dominerer verdenen af ​​benrobotter:

Intel RealSense. D435 og D435i er de ældre standardmodeller — 87° × 58° FOV, 0.1–10 m rækkevidde, ~2% dybdefejl ved 2 m, global lukker på dybdesensorerne. D435i tilføjer en Bosch BMI055-klasse IMU integreret i kameraet, hvilket forenkler tidssynkroniseringsproblemet. D455 fordoblede baseline til 95 mm, hvilket fordoblede den effektive rækkevidde (dybdefejl <2% ved 4 m), og tilføjede IMU som standard. D457 er den GMSL2 / FAKRA-robuste D455 — samme billeddannelse, stik i bilkvalitet, IP65-hus, designet til robotter, der rent faktisk forlader laboratoriet. Næsten alle forskningsmenneskelige robotter i R01 leveres enten med en D435i eller D455 på hovedet; D457 er den version, der vises på udendørs firbenede dyr.

Orbbec. Det kinesiske alternativ — Femto Bolt, Femto Mega, Gemini 335 / 336 / 2 XL. Femto Mega er interessant, fordi den integrerer en Jetson Nano på kameraet og bruger Microsofts ToF-sensor (den samme som i Azure Kinect DK, da Microsoft forlod dette marked). Gemini 2 XL forlænger den brugbare dybde til 20 m i den lange ende. Orbbec-modellerne er typisk 30-50 % billigere end RealSense med tilsvarende specifikationer og er blevet standarden på kinesiskbyggede platforme, når forsyningskæderisiko på Intel-dele er en bekymring. Til ren indendørs robotteknologi er de tilsvarende; til udendørs brug og brug med høje vibrationer har RealSense-økosystemet stadig den bedre autopilot- og ROS 2-integration.

En fælde, der fanger førstegangsintegratorer: IR-interferens fra flere kameraer. Placer to kameraer med struktureret lysdybde i samme rum over for hinanden, og begge mister dybde i overlapningszonen. Afhjælpningsforanstaltninger: Tidsmultipleks projektorerne (hardwareudløs den ene, mens den anden optager), eller skift til ren stereo (ingen aktiv projektor). Dette er en af ​​grundene til, at større flåder tiltrækkes af passiv stereo eller ToF.

RGB-kameraer – og hvorfor lukkertypen betyder mere end megapixelerne

Dybdekameraets RGB-sensor er normalt fin til det, den er, men et seriøst manipulationsudstyr tilføjer et separat RGB-kamera til farver i høj opløsning. Det ikke helt indlysende spørgsmål er global lukker vs. rullende lukker.

En rullende lukkersensor læser rækker af pixels sekventielt. Hvis kameraet eller scenen bevæger sig under aflæsningen, forskydes billedet – en lodret linje bliver til en diagonal, et spinnende hjul bliver til en banan. For en stationær bordinspektion er dette fint. For en gående humanoid, hvor hovedet accelererer med 5 m/s² lateralt for hvert trin, ødelægger rullende lukker funktionsmatchningen, forstyrrer visuel odometri og producerer ubrugeligt input til VLM'er.

Reglen er ligetil: alt på en robot i bevægelse kræver global lukker. Dybdemodulerne D435i, D455 og D457 er alle global lukker (farvesensoren i nogle varianter er rullende – læs databladet). Et separat RGB-kamera med global lukker tilføjer 200-600 euro til en byggeproces. At spare på dette er en af ​​de mest almindelige og skadelige specifikationsfejl, som førstegangs robotbyggere begår.

LiDAR — hvornår den tjener sin plads, og hvornår den ikke gør

LiDAR er den mest overspecificerede sensor inden for robotteknologi i 2026. Den er virkelig nødvendig på udendørs firbenede dyr, SLAM-platforme med flere rum og enhver enhed, der skal se pålideligt ud over 10 m. Den er overkill på indendørs manipulationsmenneskelige robotter, der opererer i et volumen på 3 m × 3 m.

De to arkitekturer:

• Roterende mekanisk LiDAR. Traditionelt design med roterende spejl. Højere omkostninger, flere kanaler, modent. Ouster OS0 / OS1 (nu Rev8 med native farver, 2026), Hesai XT16 / XT32 / QT128. Roterende enheder er sliddele, men lejerne holder nu i over 30,000 timer.
• Faststof-/hybrid-faststof-LiDAR. Livox's roterende spejlhybrid (Mid-360, HAP, Avia) og ren MEMS solid-state. Ingen ekstern roterende del, lavere omkostninger, til tider uensartede scanningsmønstre. Mid-360 er blevet standarden for robotter med ben.

Typiske sensorer i benrobotverdenen:

Livox Mid-360 fortjener sin dominans — den er lille (under 300 g), har lavt strømforbrug (under 10 W), har en 360° dækning, der er tilstrækkelig til SLAM, og til $800 er den billig nok til at blive leveret på forbrugerniveau. For en humanoid, der går indendørs og skal kortlægge en bygning, er Mid-360 svaret 80% af tiden.

Når LiDAR virkelig betyder noget:

• Udendørs eller multirums SLAM, hvor dybdekameraets rækkevidde (5-8 m) ikke er tilstrækkelig.
• Navigation i lange korridorer, hvor du skal se slutningen af ​​gangen fra starten.
• Klar sollys, hvor IR-projektordybdekameraer fejler, og kun LiDAR eller passiv stereo fungerer.
• Reflekterende / teksturløse miljøer (lagerbygninger med malede gulve, glasvægge) hvor stereoanlægget mister funktioner.

Når LiDAR er oversolgt:

• Indendørs humanoid manipulation i et arbejdsområde under 5 m. Et par D455'ere klarer jobbet for en tiendedel af prisen og vægten.
• "Markedsføringshund" demoer, der aldrig forlader et asfalteret område. LiDAR'en er der for at se seriøs ud.
• Rodede rum med rigelig tekstur. Stereoen er oprigtigt god nok, og LiDAR'en gør dobbeltarbejde.

Hvis du kan svare "nej" til alle fire spørgsmål ovenfor, "når det gælder", behøver du ikke LiDAR. Spar de 800-8,000 dollars og invester i et RGB-kamera med global lukkertid og en bedre IMU.

Kraft/moment på endeeffektoren — manipulationsaktiveringsmekanismen

I det øjeblik en robot forsøger at gøre andet end at samle stive plastikklodser op, bliver kraft-/momentregistrering ved håndleddet flaskehalsen. En 6-akset F/T-sensor måler tre kraftkomponenter og tre momentkomponenter ved samlingen mellem håndleddet og griberen/hånden og sender dem til impedansregulatoren, der bestemmer, hvor hårdt man skal skubbe, hvornår man skal stoppe, og hvornår noget sidder fast.

Referenceenhederne kommer fra ATI Industrial Automation (Mini, Nano, Axia, Mini43LP). Mini43LP er det nuværende optimale valg til humanoide håndled — under 8 mm høje, 6-aksede halvleder-tøjningsmålere, realtidsdata ved 8 kHz over EtherCAT eller Ethernet. Prisen ligger i intervallet $4–$12 afhængigt af konfigurationen, hvilket er grunden til, at de fleste humanoide enheder under $50 leveres uden F/T-registrering som standard. Unitree H1-2 med manipulationsarme understøtter det; G1-basen gør ikke.

Hvis din opgave er "at bære en bakke med kopper", "at åbne en køleskabsdør uden at rive håndtaget af" eller "at give et værktøj til et menneske", skal du have F/T ved håndleddet. Hvis din opgave er "at samle en kendt genstand op fra et kendt sted", kan du simulere den med motorstrømsfeedback og springe den dedikerede sensor over.

Taktile sensorer — den virkelige, men umodne grænse

Taktil sensorteknologi er den teknologi, som humanoide demonstrationer i 2026 højlydt omhandler, og som humanoide produktionsimplementeringer i 2026 for det meste ikke bruger. Teknologien er modnet nok til at være nyttig i forskning; den er ikke modnet nok til at være billig, pålidelig eller "send and forget".

De to relevante familier:

• GelSight / DIGIT. Kamerabaserede taktile sensorer — en blød elastomerpude med markører, der oplyses og afbildes nedefra af et lille kamera. Læser overfladekontaktgeometri med en opløsning på submillimeter og udleder forskydnings- og normalkraft fra markørforskydning. Oprindeligt MIT-forskning, produktiseret af GelSight, DIGIT-varianten udviklet med Meta AI (Digit 360 annonceret i slutningen af ​​2024, fase II SBIR-kontrakter aktive i 2026). Fremragende til fin geometri — tekstur, kanter, slipdetektion. Omkostningerne ligger i området $1–$3 pr. finger plus kameraets processorbelastning.
• Kapacitive og piezoresistive arrays. Ældre teknologi, lavere opløsning, meget billigere. Bruges i nogle gribere til grov kontakt-ja-nej. Ikke rigtig taktil sansning i moderne forstand.

Hvad taktil faktisk muliggør på en humanoid:

• Skriddetektion. Robotten mærker en genstand glide i grebet og øger kraften, før den falder. Dette er det absolut mest nyttige taktile signal i den nuværende forskning.
• Teksturbaseret objektdiskrimination. Stof vs. læder vs. metal lige ved fingerspidsen.
• Geometrisk rekonstruktion. Opbygning af en 3D-model af et objekt, som hånden udforsker i blinde.

Hvad taktil endnu ikke gør pålideligt:

• Overlev en opvaskemaskinecyklus svarende til robotbrug. Bløde gelpuder slides, får snitsår og skal udskiftes efter en tidsplan ligesom fodpuderne.
• Arbejd uden dedikeret GPU. Kamerabaseret taktil er computersyn i realtid; hver sensor tilføjer 10-30% belastning på en Jetson AGX.
• Standardisere. Hver forskergruppe har sin egen taktile smag. Der findes endnu ingen ROS 2-standardmeddelelse for taktil, som alle er enige om.

Den ærlige holdning: taktil vil have betydning i produktionen i 2027-2028. I 2026 er det en reel mulighed at montere GelSight DIGITs på en forskningshumanoid, hvis man har forskningsbudgettet til det. Det er for tidligt at bestille en til en produktionsimplementering.

Mikrofoner, fodkontakt og resten

Et par flere sensorer, der afrunder stakken.

Mikrofonarrays. Et 4-mikrofons array er standarden, nogle gange 6 eller 8 på premium-platforme. De udfører tre opgaver: wake-word-detektion (ofte lokal, lav-effekt DSP), estimering af ankomstretning for "hvem sagde det" og stråleformning for ren tale-til-tekst i et støjende rum. DOA'en er den undervurderede funktion - en robot, der drejer hovedet mod den, der talte til den, føles dramatisk mere til stede end en, der ikke gør. Enkeltmikrofoner er fine til skrivebordsassistenter og ubrugelige på en robot i 1.5 m højde i et rum med tre personer.

Fodkontakt/tryk. To implementeringer. Vejeceller under foden er den eksplicitte version, der bruges på Spot og ANYmal D. IMU-and-torque-derived er den implicitte version, der bruges på alle Unitree- og DeepRobotics-platforme — når foden lander, hopper benmomentet, og fodens IMU ser stødet, og gangtilstandsmaskinen udleder kontakt ud fra det. Vejeceller er mere pålidelige på glatte overflader, hvor moment alene er tvetydigt; den afledte version er billigere og god nok til 90 % af arbejdet.

Hjulkodere (til firbenede hjul-fod-hybrider). Unitree B2-W og Go2-W tilføjer et motordrevet hjul i enden af ​​hvert ben. Hvert hjul har sin egen inkrementelle encoder, og SLAM-pipelinen fusionerer hjulodometri med IMU + LiDAR. Hjulodometri er det billigste beregningsmæssige input, der findes - når det er tilgængeligt, er SLAM-løsningen mere stabil. Afvejningen er endnu en fejltilstand (hjul glider, hjul bliver beskadiget, hjul svigter), hvilket er grunden til, at hjul-fod-varianterne kræver mere omhyggelig tilstandsestimering end deres gående søskende.

Sensorsynkronisering — den usynlige fejltilstand

Det, der ødelægger robotopfattelsesrørledninger mere end noget andet, og det, næsten ingen taler om, før de rammer den, er tidssynkronisering på tværs af sensorer.

Problemet: Et dybdekamera producerer billeder ved 30 Hz, IMU'en kører ved 1 kHz, LiDAR'en ved 10 Hz, og de fælles encodere ved 1 kHz. Hver sensor har sit eget ur og sin egen latenstid fra begivenhed til tidsstempel. Hvis disse ure driver, eller hvis tidsstemplerne er forkerte, producerer sensorfusionen noget affald, og ingen ved hvorfor – robotten begynder at hallucinere forhindringer, eller dens SLAM-kort tværes ud, hver gang den drejer.

Tre niveauer af reparation, i rækkefølge efter kapacitet:

1. Software-NTP. Billig, opnår en nøjagtighed på 1-10 ms på et kablet LAN. Fin til logging og overvågning på højt niveau. Katastrofal til tæt sensorfusion ved 1 kHz.
2. IEEE 1588 PTP (præcisionstidsprotokol). Hardware-assisteret tidsstempling i NIC'en, nøjagtighed på sub-mikrosekunder på et switched Ethernet-netværk. Dette er, hvad seriøse multisensorrobotter bruger, og det kræver PTP-kompatible switche og sensorer. Livox LiDAR'er understøtter PTP. RealSense understøtter det via firmware. De fleste billige USB-dybdekameraer gør ikke.
3. Hardware-udløser. En fysisk pulsledning, der udløser kameraet, LiDAR'en og IMU'en sample-and-hold samtidigt. Nanosekundsynkronisering, men fungerer kun for sensorer med en ekstern triggerindgang - typisk industrikameraer og LiDAR'er, ikke forbruger-USB-enheder.

Hvad går i stykker uden synkronisering, i rækkefølge efter hvor ofte det bider:

• VIO-drift accelererer når IMU- og kameratidsstempler er mere end 2-5 ms uenige.
• LIO producerer spøgelsesforhindringer når LiDAR og IMU er uenige om, hvor robotten befandt sig under scanningen.
• VLM-baseret gribeteknik vælger det forkerte punkt når dybderammen og den led-encoder-aflæsning, der bruges til at positionere griberen, kommer fra forskellige tidspunkter.

Hvis du integrerer sensorer fra mere end én leverandør, så stil PTP-spørgsmålet tidligt. Omkostningerne ved at reparere det bagefter er normalt en omstrukturering af sensorbussen, ikke en justering.

Beregn belastning pr. sensor — hvad Jetson rent faktisk gør

En moderne Jetson AGX Orin (200 TOPS, 32 GB RAM) på en humanoid kan mere end specifikationsarket antyder. En realistisk belastningsfordeling under vedvarende drift:

Læg det hele sammen, og Jetson er på 60-80% vedvarende, med toppe ved gashåndtag, når VLM'en kører. Der er stort set ingen plads til en anden stor model, hvilket netop er arkitekturargumentet fra I01 : den tunge tankegang går galt, fordi Jetson allerede er fuld.

Taktil registrering kræver, når den tilføjes, yderligere 10-30% pr. sensorpar. F/T-registrering er stort set gratis (CPU-side, lav hastighed). LiDAR er overraskelsen - punktsky-forbehandling er ikke billig, og en LiDAR med høj densitet (Hesai QT128, Ouster OS1 256-kanal) vil mætte en Jetson Orin Nano, før perceptionskoden overhovedet kører. Match LiDAR-densiteten med beregningen, ikke med markedsføringen.

---

Dette er en del af Kentino Wiki, en referenceserie om AI-beregning, robotteknologi og de systemer, der forbinder dem. Kommentarer og rettelser er velkomne på info@kentino.com.