Zum Inhalt wechseln


Foto

472 GFlops für KI und Bildverarbeitung auf dem Kopter

eigenbau modellbau multicopter ndvi jetson nano

  • Bitte melde dich an um zu Antworten
20 Antworten in diesem Thema

#16 WiSi-Testpilot

WiSi-Testpilot
  • 1.147 Beiträge
  • Ortwestliches Münsterland
  • Kopter mit N3 & A3,
    Videoübertragung: LB2 mit CrystalSky & Connex.
    Kameras: Gopro H3+, Sony RX0,
    Sony A 6000 (NIR, Vis & UV),
    Flir Vue Pro R 640 (LWIR),
    Connex ProSight (NIR)

Geschrieben 09. Oktober 2019 - 10:04

Kleines Update:
Ich musste mich nun in den Gstreamer einarbeiten und habe eine kleines Script geschrieben, mit dem man 2 Videos einlesen und Bild in Bild (PIP) darstellen kann. Auf dem Bild sind das Jetson Nano, 2 USB3 Adapter, zwei Kamers und das Display zu erkennen. Mit Hilfe des Tabletts messe ich die Laufzeit. Ohne Nano ist die Laufzeit von der Kamera zum Display ~100 ms, siehe auch oben, mit Dualbild-Transfer und PIP ~200 ms, s. Foto. Nano und USB Adapter benötigen also nur ~100 ms. Im Script habe ich bis auf das Einlesen der Streams nur Nvidia Gstreamer Plugins benutzt. Die nutzen den ISP (Image Signal Prozessor) zur Beschleunigung aus. Man sieht es auch an der Stromaufnahme des Nanos, im Leerlauf fließen ~0.7 A, beim Streamen sind es ~1.6 A.
Viele Grüße,
Wilhelm

Angehängte Dateien



#17 WiSi-Testpilot

WiSi-Testpilot
  • 1.147 Beiträge
  • Ortwestliches Münsterland
  • Kopter mit N3 & A3,
    Videoübertragung: LB2 mit CrystalSky & Connex.
    Kameras: Gopro H3+, Sony RX0,
    Sony A 6000 (NIR, Vis & UV),
    Flir Vue Pro R 640 (LWIR),
    Connex ProSight (NIR)

Geschrieben 14. Oktober 2019 - 23:30

So, jetzt kann ich auch (wie el Kopto) Videofeeds überlagern. Das Vollbild stammt von einer Sony RX0, die Wärmebildkamera ist die Flir Vue 336. Die Ausrichtung der Kameras ist im Moment noch nicht perfekt. Ich muss allerdings noch testen, ob der Überlagerungsmodus am Kopter überhaupt sinnvoll ist.
Das Justieren geht sehr einfach. Das Rohbild wird mit 4 Werten zurechtgestutzt. Dann gibt man nur die X- und Y-Werte einer Ecke und die X-und Y-Werte für die Ausdehnung an.
Das Bild in der linken unteren Ecke ist von der Raspberry-Pi V2 Kamera. Diese so genannte CSI Kamera läuft als extra Job/Task. Die Latenz ist noch mal geringer als bei den USB Kameras, weil die Sensordaten per DMA in den Rechner übertragen werden. Ich habe noch eine RPi Kamera ohne IR Filter bestellt, um sie als UV bzw NIR Kamera zu testen.
Viele Grüße,
Wilhelm

Angehängte Dateien


  • el Kopto gefällt das

#18 fingadar

fingadar
  • 789 Beiträge
  • OrtObernburg am Main
  • Hexakopter mit redundantem Pixhawk/Arducopter und RasPi3 Companion
    EZ-WifiBroadcast mit Auvidea HDMI-In
    FLIR Vue Pro R 640
    Lightware SF11 Lidar
    IR-Lock Precision Landing
    Emlid REACH RTK

Geschrieben 15. Oktober 2019 - 07:04

Wie bekommst Du das Bild der RX0 in den Jetson?

Viele Grüße,
Stefan

#19 el Kopto

el Kopto
  • 3.193 Beiträge
  • OrtNorddeutschland
  • Hexa / Matrice 100 hybrid mod / Jordana Endurance mit N3 + LB2 + PulseKraft PWM Erweiterung, H920 Retrofit mit HyraCom BVLOS Steuersystem

Geschrieben 15. Oktober 2019 - 07:39

Ich vermute, mit dem zuvor erwähnten HDMI -> USB Konverter.



#20 WiSi-Testpilot

WiSi-Testpilot
  • 1.147 Beiträge
  • Ortwestliches Münsterland
  • Kopter mit N3 & A3,
    Videoübertragung: LB2 mit CrystalSky & Connex.
    Kameras: Gopro H3+, Sony RX0,
    Sony A 6000 (NIR, Vis & UV),
    Flir Vue Pro R 640 (LWIR),
    Connex ProSight (NIR)

Geschrieben 15. Oktober 2019 - 09:00

Wie bekommst Du das Bild der RX0 in den Jetson?

Viele Grüße,
Stefan

Am besten nach (if-link) Video Capture HDMI to USB 3.0 suchen. Der Link in #15 führt schon zu einem anderen Produkt. Vielleicht findet jemand kleinere Adapter.
Zur Zeit baue ich alles zum testen an ein Landegestell, das dann nur an einen Kopter befestigt werden muss. Den Kopter nenne ich Argus, wegen der vielen Augen.
Viele Grüße,
Wilhelm

Angehängte Dateien



#21 2safe4you

2safe4you
  • 6 Beiträge

Geschrieben 20. Oktober 2019 - 23:09

Härte. Da bin ich nun auf die ersten Videos von gespannt.







Auch mit einem oder mehreren dieser Stichwörter versehen: eigenbau, modellbau, multicopter, ndvi, jetson nano

Besucher die dieses Thema lesen: 0

Mitglieder: 0, Gäste: 0, unsichtbare Mitglieder: 0