KAMERA NIR-FPV (Nahes InfraRot) mit dem Kopter
- Themenstarter WiSi-Testpilot
- Beginndatum
So, der Umbau ist geglückt.
Angehängt sind 2 Bilder aufgenommen mit einem BG3-Filter und ein Bild mit komplett offenem Sensor.
Das gelb-grüne ist ein UV Bild. Es ist noch unscharf, da die Belichtungszeit 0.2 s und Iso 3200 betrugen. Die Durchlasskurve des UV Filters hat ein Maximum bei 370 nm mit einer Bandbreite von ~50 nm. Ich habe hier nur ein Teleobjektiv mit 9 Linsen. Es ist für die UV Fotografie eigentlich ungeeignet, da jede Linse und das Coating UV absorbiert. So ist an einen Einsatz auf dem Kopter zur Zeit nicht zu denken. Aber für erste Versuche am Boden mit Stativ reicht es.
Viele Grüße,
Wilhelm
Angehängt sind 2 Bilder aufgenommen mit einem BG3-Filter und ein Bild mit komplett offenem Sensor.
Das gelb-grüne ist ein UV Bild. Es ist noch unscharf, da die Belichtungszeit 0.2 s und Iso 3200 betrugen. Die Durchlasskurve des UV Filters hat ein Maximum bei 370 nm mit einer Bandbreite von ~50 nm. Ich habe hier nur ein Teleobjektiv mit 9 Linsen. Es ist für die UV Fotografie eigentlich ungeeignet, da jede Linse und das Coating UV absorbiert. So ist an einen Einsatz auf dem Kopter zur Zeit nicht zu denken. Aber für erste Versuche am Boden mit Stativ reicht es.
Viele Grüße,
Wilhelm
Anhänge
Am 6. Oktober haben wir ein Wärmebild und ein paar Fotos mit der umgebauten A6000 von einer Solaranlage gemacht. Leider ist ein heller Fleck in der Mitte der NIR-Bilder. Nun habe ich gelesen, dass mein Objektiv (SELP1650) für NIR nicht geeignet ist. Ich werde noch ein leichtes Pancake anschaffen, das besser sein soll. Unerwartet und sehr interessant sind die Muster im UV-Bild. Die Muster korrelieren jedoch nicht mit den Defekten. In den NIR Bildern und im Vollspektrum Bild sind die Muster nicht sichtbar.
Das Bild von unserem Flugplatz ist das erste UV Bild, das von einem Kopter aus aufgenommen wurde. Die Kamera ist an einem Kippservo ohne Dämpfung montiert. Nur Verschluss, Zoom und Neigung werden über Funk gesteuert. Die Bewegungsunschärfe des Bildes vom Flugplatz hat ein Forenkollege aus USA mit dem Programm SmartDeblur (version 2.3) etwas reduziert. Die Werte der Bilder sind (W)isi 1/6s, f4, ISO-3200, Flugplatz 1/6s, f/4, ISO-4000. An dem Wisi Bild sieht man, dass es sich wirklich um ein UV-Bild handelt. Die Sonnencreme absorbiert das UV-Licht.
Die Daten zu den anderen Bildern:
IR Filter: Green.L, IR950,
UV Filter: Makario SP2 UV-400N,
Full_Spectrum_DSC01570: 1/800s, f/6.3, ISO-100,
NIR_DSC01520, 1/80s, f/6.3, ISO-1000,
NIR_DSC01571, 1/60s, f/6.3, ISO-640,
UV_DSC01543, 1/3s, f/6.3, ISO-3200,
Viele Grüße,
Wilhelm
Das Bild von unserem Flugplatz ist das erste UV Bild, das von einem Kopter aus aufgenommen wurde. Die Kamera ist an einem Kippservo ohne Dämpfung montiert. Nur Verschluss, Zoom und Neigung werden über Funk gesteuert. Die Bewegungsunschärfe des Bildes vom Flugplatz hat ein Forenkollege aus USA mit dem Programm SmartDeblur (version 2.3) etwas reduziert. Die Werte der Bilder sind (W)isi 1/6s, f4, ISO-3200, Flugplatz 1/6s, f/4, ISO-4000. An dem Wisi Bild sieht man, dass es sich wirklich um ein UV-Bild handelt. Die Sonnencreme absorbiert das UV-Licht.
Die Daten zu den anderen Bildern:
IR Filter: Green.L, IR950,
UV Filter: Makario SP2 UV-400N,
Full_Spectrum_DSC01570: 1/800s, f/6.3, ISO-100,
NIR_DSC01520, 1/80s, f/6.3, ISO-1000,
NIR_DSC01571, 1/60s, f/6.3, ISO-640,
UV_DSC01543, 1/3s, f/6.3, ISO-3200,
Viele Grüße,
Wilhelm
Anhänge
Habe wieder etwas gelernt.
Der helle Fleck oben in den NIR Bildern heißt Hot Spot und wird dadurch verursacht, dass man Objektive in einem Spektralbereich verwendet, für den sie nicht gemacht sind. Hier gibt es eine Datenbank, in der die gut und weniger gut funktionierenden aufgelistet sind.
Lens Hotspot Database - Kolari Vision
Wenige Linsen im Objektiv verringern den Effekt. Bei offener Blende ist der Effekt kleiner oder gar nicht vorhanden, siehe zB Bild von heute (760 nm Green.l Filter,1/540s, f/4, ISO-100).
Viele Grüße,
Wilhelm
Der helle Fleck oben in den NIR Bildern heißt Hot Spot und wird dadurch verursacht, dass man Objektive in einem Spektralbereich verwendet, für den sie nicht gemacht sind. Hier gibt es eine Datenbank, in der die gut und weniger gut funktionierenden aufgelistet sind.
Lens Hotspot Database - Kolari Vision
Wenige Linsen im Objektiv verringern den Effekt. Bei offener Blende ist der Effekt kleiner oder gar nicht vorhanden, siehe zB Bild von heute (760 nm Green.l Filter,1/540s, f/4, ISO-100).
Viele Grüße,
Wilhelm
Anhänge
Danke schön.
Ich hatte mir noch ein 60er Jahre Objektiv mit Adapter gekauft. Diese haben gegenüber modernen Objektiven den Vorteil, dass sie nicht vergütet sind. Besonders das Noflexar 35/3.5 ist bekannt für sehr gute UV Durchlässigkeit. Im NIR hat es selbst bei Blende 16 keinen Hot Spot. Der Adapter ist nötig um die verschiedenen Bajonette anzupassen und um die Brennweite an die moderne Kamera anzupassen. Allerdings ist die Kombination zum Fliegen zu schwer. Es dient für Anwendungen auf dem Boden und als Referenz. Auf dem Kopter werde ich das Sony Pancake verwenden. Meine bisherigen Versuche ergaben, dass es im UV nur eine Blendenstufe (Stop) schlechter ist als das Noflexar. Im NIR hat es bei kleinen Blenden oberhalb 950 nm einen Hot Spot.
Ich hatte mir noch ein 60er Jahre Objektiv mit Adapter gekauft. Diese haben gegenüber modernen Objektiven den Vorteil, dass sie nicht vergütet sind. Besonders das Noflexar 35/3.5 ist bekannt für sehr gute UV Durchlässigkeit. Im NIR hat es selbst bei Blende 16 keinen Hot Spot. Der Adapter ist nötig um die verschiedenen Bajonette anzupassen und um die Brennweite an die moderne Kamera anzupassen. Allerdings ist die Kombination zum Fliegen zu schwer. Es dient für Anwendungen auf dem Boden und als Referenz. Auf dem Kopter werde ich das Sony Pancake verwenden. Meine bisherigen Versuche ergaben, dass es im UV nur eine Blendenstufe (Stop) schlechter ist als das Noflexar. Im NIR hat es bei kleinen Blenden oberhalb 950 nm einen Hot Spot.
Anhänge
Zuletzt bearbeitet:
Ist etwas Oftopic…
An der St.Vitus Kirche im Nachbardorf Südlohn sind mir X-Strukturen im Mauerwerk aufgefallen. Die härter gebrannten und somit dunkleren Steine wurden als halbe Steine oder Kopfsteine verwandt. Da der Versatz aber nicht zufällig ist, wie es beim so genannten wilden Verband sein sollte, ergeben sich die Muster. Ab ein paar Metern Höhe haben sie es scheinbar bemerkt. Die Strukturen sind im visuellen sichtbar, aber deutlicher im NIR.
An der St.Vitus Kirche im Nachbardorf Südlohn sind mir X-Strukturen im Mauerwerk aufgefallen. Die härter gebrannten und somit dunkleren Steine wurden als halbe Steine oder Kopfsteine verwandt. Da der Versatz aber nicht zufällig ist, wie es beim so genannten wilden Verband sein sollte, ergeben sich die Muster. Ab ein paar Metern Höhe haben sie es scheinbar bemerkt. Die Strukturen sind im visuellen sichtbar, aber deutlicher im NIR.
Anhänge
Hier im westlichen Münsterland scheint an diesem schönen Sonntag die Sonne und nächste Woche könnte es wieder Flugwetter geben. Ich war in letzter Zeit relativ fleißig, anbei 5 Nichtflugbilder:
Alle wurden neu aufgebaut.
Alle Kopter wurden zerlegt und überarbeitet.
Ein Kopter bekommt Sinus ESCs mit Vektorregelung. Mal sehen, was es bringt.
Lötkolben leuchtet im NIR.
Terrassenüberdachung im UV. Sie besteht aus zwei PMMA Sorten.
Viele Grüße,
Wilhelm
Alle wurden neu aufgebaut.
Alle Kopter wurden zerlegt und überarbeitet.
Ein Kopter bekommt Sinus ESCs mit Vektorregelung. Mal sehen, was es bringt.
Lötkolben leuchtet im NIR.
Terrassenüberdachung im UV. Sie besteht aus zwei PMMA Sorten.
Viele Grüße,
Wilhelm
Anhänge
Der Kopter mit den neuen Sinus ESCs (mein CQ) ist gestern probe geflogen. Mit den neuen ESCs ist der Kopter etliches leiser als vorher, meine ich.
Zeigen möchte ich hier eine besondere Eigenschaft der Naza N3: das exzellente Halten der Höhe. Die Höhe (blaue Kurve) wird nicht nur vom Barometerdruck (rote Kurve) abgeleitet, so dass der Kopter zB beim Abbremsen nicht wie mit der Naza V2 durchsackt. Die Höhenänderungen (s. Ausschnitt) spielen sich im ¼ m Bereich ab. (Die absoluten Höhen werden vom Viewer falsch angezeigt.) Die Vibrationen des Kopters (0.1 im Schwebeflug) sind auch sehr klein. Als noch ok wird 0.5 angesehen.
Viele Grüße,
Wilhelm
Zeigen möchte ich hier eine besondere Eigenschaft der Naza N3: das exzellente Halten der Höhe. Die Höhe (blaue Kurve) wird nicht nur vom Barometerdruck (rote Kurve) abgeleitet, so dass der Kopter zB beim Abbremsen nicht wie mit der Naza V2 durchsackt. Die Höhenänderungen (s. Ausschnitt) spielen sich im ¼ m Bereich ab. (Die absoluten Höhen werden vom Viewer falsch angezeigt.) Die Vibrationen des Kopters (0.1 im Schwebeflug) sind auch sehr klein. Als noch ok wird 0.5 angesehen.
Viele Grüße,
Wilhelm
Anhänge
So, hier mal 2 Bilder, die nicht Offtopic sind. Eins wurde ziemlich senkrecht nach unten aufgenommen. Im unteren Teil des Bildes stehen vier Eichen am Straßenrand, die ihren Schatten auf einen Acker werfen. Der dritte Baum von links trägt noch sein altes Laub. Er war im letzten Sommer stark vom Eichenprozessionsspinner befallen. Mal sehn, ob er sich wieder erholt.
Auf dem Landschaftsfoto erkennt man in Vordergrund Strukturen auf dem Acker. Es ist interessant zu beobachten, ob sich die Muster später im Jahr in der Vegetation wieder finden. Die Strukturen können dadurch zustande kommen, dass dort früher ein Weg verlaufen ist oder ein Haus gestanden hat. Oder vielleicht hat dort eine Burg gestanden…
Die Bilder wurden wie oben beschrieben mit einer umgebauten Sony Alpha 6000, dem PZ 16-50 Objektiv mit Autofokus und einem Green.L 760 nm Filter gemacht. Damit bin ich nun sehr zufrieden.
Viele Grüße,
Wilhelm
Auf dem Landschaftsfoto erkennt man in Vordergrund Strukturen auf dem Acker. Es ist interessant zu beobachten, ob sich die Muster später im Jahr in der Vegetation wieder finden. Die Strukturen können dadurch zustande kommen, dass dort früher ein Weg verlaufen ist oder ein Haus gestanden hat. Oder vielleicht hat dort eine Burg gestanden…
Die Bilder wurden wie oben beschrieben mit einer umgebauten Sony Alpha 6000, dem PZ 16-50 Objektiv mit Autofokus und einem Green.L 760 nm Filter gemacht. Damit bin ich nun sehr zufrieden.
Viele Grüße,
Wilhelm
Anhänge
Etwas Offtopic:
Neulich hatte ich hier an der Straße den Löwenzahn (Pusteblume) mit der UV Kamera und einer normalen Kamera fotografiert. Interessant ist, dass der Löwenzahn wie auch viele andere Blumen ein so genanntes UV-Mal hat. Es nennt sich „zentrales Bullauge“ (s. Link) und hat den Sinn zB Bienen, die auch UV sehen können, anzulocken oder ihnen den Anflug zu erleichtern.
Das Gelb im UV Bild wird durch die (rein zufällige) spektrale Charakteristik des Filters vor dem Sensor (Bayer Filter) im durchgelassenen UV Bereich verursacht und steht nicht in Bezug zum visuellen Gelb. Es ist daher auch erlaubt, Farben zu tauschen.
Das Objektiv ist das sehr leichte Sony Pancake. Bisher hatte ich nur UV Fotos mit Blau und Grau hinbekommen und bin überrascht, dass mit dem Objektiv eine andere Farbe sichtbar wird. Der UV Filter ist der Baader-U Venusfilter. Die Kamera kann ich so auch am Kopter nutzen.
Hier eine Quelle zum Löwenzahn:
Taraxacum erythrospermum [Red-seeded Dandelion]
Viele Grüße,
Wilhelm
Neulich hatte ich hier an der Straße den Löwenzahn (Pusteblume) mit der UV Kamera und einer normalen Kamera fotografiert. Interessant ist, dass der Löwenzahn wie auch viele andere Blumen ein so genanntes UV-Mal hat. Es nennt sich „zentrales Bullauge“ (s. Link) und hat den Sinn zB Bienen, die auch UV sehen können, anzulocken oder ihnen den Anflug zu erleichtern.
Das Gelb im UV Bild wird durch die (rein zufällige) spektrale Charakteristik des Filters vor dem Sensor (Bayer Filter) im durchgelassenen UV Bereich verursacht und steht nicht in Bezug zum visuellen Gelb. Es ist daher auch erlaubt, Farben zu tauschen.
Das Objektiv ist das sehr leichte Sony Pancake. Bisher hatte ich nur UV Fotos mit Blau und Grau hinbekommen und bin überrascht, dass mit dem Objektiv eine andere Farbe sichtbar wird. Der UV Filter ist der Baader-U Venusfilter. Die Kamera kann ich so auch am Kopter nutzen.
Hier eine Quelle zum Löwenzahn:
Taraxacum erythrospermum [Red-seeded Dandelion]
Viele Grüße,
Wilhelm
Anhänge
Zur Zeit baue ich einen kleinen Computer auf einen Kopter, das Jetson Nano Developer Kit. Es kostet nur gut 100 Euro, hat einige schnelle Schnittstellen inklusive HDMI, hardware Video-Decoder und -Encoder und auch einen Port für die Raspberry Pi V2 Kamera. Vier ARM-Rechenkerne und 128 CUDA-Kerne erlauben rechenintensive Anwendungen wie Künstliche Intelligenz und Bildverarbeitung in Echtzeit.
Bisher habe ich nur Software und Demos installiert. Videos kann ich über einen HDMI-USB3 Adapter in den Jetson Nano einlesen, ein zweiter Adapter soll morgen kommen.
Hier drei Bilder:
Bild_1 zeigt die semantischen Segmentierung eines Bildes. Es ist eine KI/DeepLearning Methode, bei der jeder Pixel des Bildes einer Klasse zugeordnet wird. Das können Personen, Tiere, Autos, Bäume, Straße, Häuser, Bürgersteig, Fahrräder, Wiesen, Himmel, Windräder usw sein. Als Output erhält man ein buntes Bild, in dem jede Klasse eine vordefinierte Farbe hat. So „weis“ dann zB das selbst fahrende Auto oder der autonom fliegende Kopter, was sich vor der Linse befindet. (Im Hintergrund ist in Rot eine Person zu sehen.)
Bild_2 zeigt die Groundstation mit einen Wärmebild, dargestellt mit dem Programm Cheese (bitte lächeln). Angedacht ist, dass aus einem NIR Bild und einem Wärmebild zB ein Rehkitz detektiert wird.
Ein paar Werte zur Latenz, s. auch Bild_3. Ich habe immer ein paar Fotos gemacht und gebe einen Bereich an.
1) Sony RX0 > Connex > Monitor = 100-130 ms.
2) RX0 > HDMI-USB3 Adapter > Jetson Nano > Connex > Monitor = 200-250 ms.
Auf dem Nano lief das Programm Cheese, siehe auch Bild 2. Das Bild benötigt also für den USB3 Adapter und das Nano nur 100-120 ms, was ich extrem gut finde.
3) Punkt 2 noch einmal mit der Bilderkennung DetectNet, s. Bild_3 = 350-400 ms.
USB 3.0 ist inzwischen wohl eine beliebte Schnittstelle für Bildverarbeitung, siehe Link für ein paar interessante Infos.
https://www.baslerwe...usb3-0-kameras/
Zuerst werde ich das Nano mit 2 Kameras und Demosoftware auf dem Kopter in Betrieb nehmen. Die spannende Frage ist, wie groß die Störungen durch den Nano sind.
Viele Grüße,
Wilhelm
Bisher habe ich nur Software und Demos installiert. Videos kann ich über einen HDMI-USB3 Adapter in den Jetson Nano einlesen, ein zweiter Adapter soll morgen kommen.
Hier drei Bilder:
Bild_1 zeigt die semantischen Segmentierung eines Bildes. Es ist eine KI/DeepLearning Methode, bei der jeder Pixel des Bildes einer Klasse zugeordnet wird. Das können Personen, Tiere, Autos, Bäume, Straße, Häuser, Bürgersteig, Fahrräder, Wiesen, Himmel, Windräder usw sein. Als Output erhält man ein buntes Bild, in dem jede Klasse eine vordefinierte Farbe hat. So „weis“ dann zB das selbst fahrende Auto oder der autonom fliegende Kopter, was sich vor der Linse befindet. (Im Hintergrund ist in Rot eine Person zu sehen.)
Bild_2 zeigt die Groundstation mit einen Wärmebild, dargestellt mit dem Programm Cheese (bitte lächeln). Angedacht ist, dass aus einem NIR Bild und einem Wärmebild zB ein Rehkitz detektiert wird.
Ein paar Werte zur Latenz, s. auch Bild_3. Ich habe immer ein paar Fotos gemacht und gebe einen Bereich an.
1) Sony RX0 > Connex > Monitor = 100-130 ms.
2) RX0 > HDMI-USB3 Adapter > Jetson Nano > Connex > Monitor = 200-250 ms.
Auf dem Nano lief das Programm Cheese, siehe auch Bild 2. Das Bild benötigt also für den USB3 Adapter und das Nano nur 100-120 ms, was ich extrem gut finde.
3) Punkt 2 noch einmal mit der Bilderkennung DetectNet, s. Bild_3 = 350-400 ms.
USB 3.0 ist inzwischen wohl eine beliebte Schnittstelle für Bildverarbeitung, siehe Link für ein paar interessante Infos.
https://www.baslerwe...usb3-0-kameras/
Zuerst werde ich das Nano mit 2 Kameras und Demosoftware auf dem Kopter in Betrieb nehmen. Die spannende Frage ist, wie groß die Störungen durch den Nano sind.
Viele Grüße,
Wilhelm
Anhänge
Inzwischen habe ich mich viele Nächte lang in die Programmierung des Nanos eingearbeitet und gelernt, wie man mathematische Operationen auf komplette Videostreams anwenden kann. Hintergrund ist die Idee, eine Echtzeit-NDVI Kamera zu bauen. Dazu werden 2 Kameras benötigt und die Spektralbereiche mit Filtern ausgewählt. Das sind in der Regel ein Bereich im NIR und ein Bereich im Visuellen. Aus den beiden Streams wird dann nach der Formel (NIR-Vis) / (NIR+Vis) eine neuer Stream berechnet. Auch andere Kombinationen aus LWIR, UV, Vis und NIR stehen auf dem Plan.
Da ich von der Rechenleistung des Jetson Nanos sehr begeistert bin, möchte ich schon mal einen Benchmark vorstellen: das (Test)Bild im Anhang entstand durch 100 mal akkumulieren. Das ergibt eine Verbesserung des Signal/Rausch-Verhältnisses um den Faktor 10. Das HD-Bild mit 1280 x 720 Pixel x drei Gleitkommawerten für die drei Farben wird dabei mit ~36 Frames pro Sekunde aufsummiert. Der weiße Punkt unterhalb des Mauszeigers ist ein Stern.
Viele Grüße,
Wilhelm
Da ich von der Rechenleistung des Jetson Nanos sehr begeistert bin, möchte ich schon mal einen Benchmark vorstellen: das (Test)Bild im Anhang entstand durch 100 mal akkumulieren. Das ergibt eine Verbesserung des Signal/Rausch-Verhältnisses um den Faktor 10. Das HD-Bild mit 1280 x 720 Pixel x drei Gleitkommawerten für die drei Farben wird dabei mit ~36 Frames pro Sekunde aufsummiert. Der weiße Punkt unterhalb des Mauszeigers ist ein Stern.
Viele Grüße,
Wilhelm
Anhänge
Zuletzt bearbeitet:
