FlightZoomer: Smartphone basierte Telemetrie, Navigation, OSD, Flugplan, u.s.w.

Hallo zusammen

Ich würde heute gerne mein Smartphone basiertes System vorstellen, welches alle Features wie im Titel aufgeführt umsetzt.

Es besteht aus:
- einem Smartphone, welches an Bord installiert ist.
- einem Smartphone, welches als Groundstation/Display für den Piloten gedacht ist.
- einen Relay Server, welcher beide über das Internet verknüpft.

Features:
- Übertragung von Höhe, Speed, Kurs, Lage und Position an die Groundstation.
- Anzeige der Daten auf einem Primary Flight Display (künstl. Horizont) und Navigation Display (moving map).
- Selbstbestimmte Navigations Fixes (Funkfeuer-Simulation).
- Flugplaneingabe und Anzeige.
- Flight Director (Anzeige, wie der Copter gesteuert werden muss, um dem Flugplan zu folgen).
- Datenaufzeichnung.
- Onboard Bild- oder Videoaufzeichnung über die Smartphone Kamera.
- Design und Funktionen angelehnt an das Boeing B-787 Cockpit.

Voraussetzungen:
- Steuerung erfolgt über normale RC Anlage.
- Einfluss der Latenz: der Copter muss über einen unabhängigen FlightController wie NAZA, SuperX, etc. verfügen, der POSITION HOLD erlaubt (oder zumindest sonst eine gewisse Voraussagbarkeit im Flugverhalten sicherstellt).
- Zwei Windows Phone Smartphones.

Fokus/Abgrenzung:
Schon früher wurden einige ähnliche Systeme hier beschrieben:
http://fpv-community.de/showthread.php?35799-Einfaches-FPV-System-mit-Android-App
http://fpv-community.de/showthread.php?1820-Kleine-Idee-FPV-via-UMTS-Verbindung
http://fpv-community.de/showthread.php?8879-Video-und-Steuerung-über-Internet

Anders als bei den dort diskutierten Systemen liegt der Fokus bei FlightZoomer nicht auf der Bildübertragung, sondern auf der Navigation anhand der Rohdaten (genau wie echte Flugzeuge im Blindflug, resp. IFR geflogen werden). Dadurch (und durch den onboard Fligth Controller) wird der Einfluss der Latenz nahezu bedeutungslos.

Vorteile:
- Alles ist von der Stange.
- Smartphonee sind billig, haben viele Sensoren, eine Super Bedienung, unbegrenzte Reichweite, autonome Stromversorgung, und last but not least, haben das beste Display bei Verwendung in der prallen Sonne...

Kosten:
Das teuerste ist ein schönes Smartphone mit möglichst grossem Display (z.B. 5 Zoll) für die GroundStation. Dieses kann auch das persönliche Smartphone sein, da es nicht kaputt gehen kann. Dazu kommt das Onboard SmartPhone, welches gebraucht sein kann und mit nicht mehr als 40€ zu liegen kommt (was sensationell ist für das Gebotene). Total kaum mehr als für andere OSD Systeme, welche z.T. deutlich weniger Features haben...

Hier ein Video, bei dem ich mit einer Funktion der Relay Server Applikation den Flug simuliere und gleichzeitig die GroundStation im Emulator laufen lasse (also alles findet auf dem Entwickler-PC statt):
https://www.youtube.com/watch?v=2JOOIoZqnSw

Moin, das sieht nach einen coolen Projekt aus. Ich finde es toll wenn sich jemand an so etwas ran traut, und der Ansatz ist mal etwas anderes.

Wow, richtig tolles Projekt. Jetzt nur noch ein möglichst leichtes, billiges Smartphone, alles unnötige entfernen und man müsste auf ca. 50g kommen. Welche Bandbreite wird benötigt, damit es funktioniert? Viel kanns nicht sein, es werden ja nur ein paar Daten übertragen. Sollte dann auch in Gebieten mit schlechter Netzabdeckung funktionieren, oder?
Wann kann man denn mit einer funktionierenden Version rechnen?

Hallo Servicehans

Die letzte Frage zuerst beantwortet: Ich bin am Projekt schon etwa 1 Jahr dran und habe ca. 95% der Features für Version 1 fertiggestellt. Viele Dinge wurden schon optimiert. End-to-end Connection habe ich seit letztem Herbst. Grundsätzlich hat sich Tauglichkeit der Idee bestätigt.

Im Moment ruht der Testbetrieb seit einiger Zeit, da ein NAZA-Mini-FlyAway mein erstes Onboard Handy zerstört hat (sonst blieb alles ganz, aber der Schlag mit dem Propeller aufs Display war too much). Das lokalisieren und Verfolgen von FlyAways sind aber sicher ein Anwendungsfall von FlightZoomer, der evtl. für NAZA Eigentümer von Interesse wäre...

Erst durch den Verlust des Onboard Smartphones habe ich aber realisiert, wie billig diese Devices sind. Alle Geräte ab Windows Phone 7 mit Kompass passen. Bestens geeignet sind z.B. das Omnia 7 oder Lumia 710. Da es sich anbietet, Gebrauchtgeräte zu verwenden (um je nach Talent des Piloten verheizt zu werden), wird der Preis für das Onboard Gerät (genannt FlightZoomer Sensorics) auf kaum mehr als 40€ zu liegen kommen:
Z.B.: Click!

Als Gerät für die FlightZoomer GroundStation verwende ich das neue Handy meiner Frau:
Click!

Im Moment baue ich den Testkopter wieder neu auf, diesmal aber mit SuperX. Erstflug folgt nächstens.

Zur Bandbreite: es funktioniert sicher ab UMTS. Da wo ich fliege habe ich meistens mehr als GSM EDGE und deshalb habe ich auch keine Erfahrungswerte diesbezüglich. Die Verbindungen sind aber mit UDP selber programmiert und sehr robust ausgelegt. D.h. selbst wenn es mal wegen temporär schlechtem Netz ruckelt, ist die Verbindung "selbstheilend".

Die Idee, beim Smartphone alles wegzuschmeissen, was es nicht braucht um dadurch Gewicht zu sparen hatte ich auch schon. Man könnte sogar mit der Bordstromversorgung den Handy-Akku ersetzen. Der Nachteil ist, dass die Betriebsweise nicht mehr vollautonom ist und dass es für die Smartphone-Kompass-Kalibrierung von grossem Vorteil wäre, wenn dass Gerät vom Kopter getrennt werden könnte.

Klasse Projekt!!! Ist Abonniert!!!

Genial! Tolles Projekt!
Habe mir gerade vorletzte Woche eine Telmetrie bestellt, soll heute noc kommen. Wäre aber eine Super Alternative!
FPV über die Handykamera wäre wohl kaum bezahlbahr und nicht so toll in der Qualität, oder?
LG
Lars

Hi Lars
An die Möglichkeit der Bildübertragung habe ich auch schon gedacht. Machbar ware vermutlich etwas in Richtung Übermitteln von Snapshot Images (vielleicht eines pro Sekunde). Diese Bilder konnte man dann als Head Up Simulation auf der Groundstation anzeigen. Ist aber etwas für Version 2....

Nettes Projekt, aber mit Windows Phone wirst du nicht viele Leute erreichen...Denkst du eventuell über eine Portierung nach?

Eine Portierung bedeutet Zeitaufwand. Aufgrund meiner guten Kenntnisse des Microsoft Stacks und der Möglichkeit gemeinsamen Code zu haben für die zwei Apps und den Relay Server wäre eine Portierung eine größere Übung.

Und eigentlich würde ich es vorziehen, die Featureliste zu erweitern, als das "Gleiche" nochmal und nochmal zu bauen...

Die Problematik wird meiner Meinung nach aber dadurch entschärft, dass für das Onboard Gerät sowieso besser ein Gebrauchtes verwendet wird, das so billig beschafft werden kann, dass das Betriebssystem egal ist.

Für die Groundstation könnte ein Konzept sein, dass die App kostenlos wäre, so dass ein Gerät von mehreren Piloten geteilt würde (natürlich nicht gleichzeitig). Oder man könnte dann auch ein Gerät ausleihen, so wie ich es bei meiner Frau mit ihrem Lumia 1320 mache (ich glaube es gäbe eh kein günstigeres Gerät momentan auf dem Markt mit einem für die Groundstation so geeigneten, grossen Bildschirm).

So Freunde, ein weiteres Update bezüglich FlightZoomer ist dran. Ich möchte kurz informieren, was in der Zwischenzeit passiert ist...

In der letzten Zeit habe ich mich mehr mit dem neuen Kopter und der neuen Steuerung SuperX beschäftigt. Diverse neue Teile mussten integriert werden:
- Es gab einen Neubau des Kopters (neue, selber entworfene und optimierte Epoxyplatten zu den DJI Armen)
- Neu wird die SuperX statt der NAZA eingesetzt
- Und als onboard Handy (für die FlightZoomer Sensorics App) wurde erstmals ein Nokia Lumia 710 eingesetzt (vorher war es das gute alte Omnia 7).

Bei der ersten Version war das Lumia wie folgt montiert:


Ergebnis:
Das Lumia war offenbar zu nahe an der restlichen Elektrik. Das GPS und der Compass hatten Mühe genau zu arbeiten.

Zweiter Versuch, mit grösserem Abstand vom Rest:


Ergebnis: Kaum eine Verbesserung bei der GPS Genauigkeit. Zusätzlich war die Richtungsstabilität nicht gut, da die Sony Action Cam weit vorne befestigt ist und bei Seitenwind oder Vorwärtsflug eine ungewollte Drehung um die Hochachse verursacht hat.

Nach Hinzufügen einer Seitenflosse war es besser:


Was aber immer noch nicht gelöst ist, ist die unbefriedigende GPS Genauigkeit. Entweder ist das Lumia 710 schlechter als das Omnia 7 (resp. hat höhere Anforderungen, um die Position genau zu messen) oder es ist immer noch zu nahe am Rest der (funkenden) Elektronik.

Ich werde einen weiteren Umbau machen, um das Handy praktisch wie als Höhenruder bei einem T-Leitwerk zu montieren. Falls das nichts nützt muss ich eben nochmals ein Omnia 7 bestellen.

Hier noch der aufgezeichnete Flugweg mit dem Lumia 710. Man sieht recht erratische Sprünge, wo eigentlich regelmässige Kreise sein sollten:


Zum Vergleich ein früherer Flug mit dem Omnia7. Man kann deutlich erkennen, dass die geflogenen Kreise ziemlich genau übermittelt und aufgezeichnet wurden:


Als weiteres Goodie habe ich mal versucht in einem Video die Latenz festzuhalten. Ich bitte um Nachsicht bezüglich der lausigen Qualität, hoffe aber, das es für einen Eindruck reicht. In dem Fall waren beide Geräte über 3G mit dem zentralen Relay Server verbunden:
https://www.youtube.com/watch?v=CFO0PLnQMGI

Ok, selbst mit dem neuen T-Leitwerk, wo das Handy weiter von der Leistungselektronik entfernt ist als der SuperX GPS Teller, löst das GPS des Lumia 710 zu sprunghaft und nicht exakt auf.

Also, kaufte ich mir nun heute nochmals ein Samsung Omnia 7 (dasjenige, welches ich zuvor hatte, war bezgl. GPS Genauigkeit absolut zufriedenstellend):
http://www.ebay.de/itm/Samsung-Omnia-I8700-Omnia-7-16-GB-Ebenholz-Schwarz-Smartphone-/281372767663

Im weiteren möchte ich den Beginn einer Betatestphase in den nächsten Monaten ankündigen.

Ich sage es frühzeitig, damit Interessenten sich mit dem Gedanken auseinandersetzen können und evtl. schon mal nach günstigem Equipment Ausschau halten können (im wesentlichen 2 Windows Phone Smartphones, wobei zumindest eines ein Windows Phone 8 sein muss). Falls jemand Interesse hat, bitte einfach melden.

High Level System Überblick

Hallo zusammen
Um mal einen Gesamt-Überblick über FlightZoomer zu geben, poste ich an dieser Stelle mal den Splashscreen der Sensorics App, auf dem alle Komponenten dargestellt sind:

Man sieht einen geschlossenen Kontrollkreis mit den Stationen:

1. Copter mit Smartphone, auf welchem die App FlightZoomer Sensorics läuft.
2. Ein PC, der zuhause steht, auf dem FlightZoomer Relay Server läuft.
3. Ein Smartphone, auf welchem die App FlightZoomer GroundStation läuft und welche dem Piloten als Display dient.
4. Der Pilot, der aufgrund der Angaben auf dem Display den Copter steuert, und zwar...
5. via konventionellen Fernsteuerung.

Die Verbindungen zwischen den Phones und dem Relay Server heisst EarthConnector und laufen über das Internet.

Bei der Systeminitialiserung wird zuerst der Earthconnector hochgefahren, worauf das System bereit zum Abflug ist. Danach wird die Sensorics App in den Status "LOCKED FOR FLIGHT" versetzt, in dem ausser in einem ganz kleinen Feld, keine Touchscreen-Eingaben mehr möglich sind.

Mit Beginn des "LOCKED FOR FLIGHT"-Modus startet der Relay Server automatisch auch mit der Datenaufzeichnung aller übermittelten Flugwerte. Dermassen abgespeicherte Flüge, können später jederzeit mit der "Replay File" Funktion wiederholt werden und auf der GroundStation somit zu jedem späteren Zeitpunkt nachvollzogen werden.

Radio Navigation

Einen wunderschönen (verregneten) Sonntag-Nachmittag!

Heute soll ein Feature präsentiert werden, welches schon seit geraumer Zeit voll funktioniert: die Radio Navigation!

[video=youtube;hNvncVMIZzU]https://www.youtube.com/watch?v=hNvncVMIZzU[/video]

Hierbei werden (simulierte) Funkfeuer angeflogen, wobei der Kurs separat definiert wird. Es wird also nicht einfach direkt auf ein Funkfeuer zugeflogen, sondern erst mal ein vorgängig definierter Kurs zum Funkfeuer "eingefangen". Dieses Vorgehen entspricht der klassischen Navigation der realen Luftfahrt. Die Bedienung ist ziemlich genau derjeingen bei einem echten Boeing 787 Dreamliner nachempfunden.

Hier noch das Log mit den Zeitangaben, wann im Video welcher Step passiert (in Englisch, da es der Text zum YouTube Video ist):

00:04 First there is a navigation aid database, which is stored on the PC where the Relay Server Application runs.
00:05 At the top the syntax for a navaid record is shown.
00:09 We will approach the VOR HOM in this demo, and then turn to ....
00:15 NS1.
00:17 The selection of the navaid in the GroundStation app will be done using either the ID or the radio frequency.
00:25 Open the Relay Server application.
00:27 and then show the GroundStation Emulator (this demo is fully run on the development PC).
00:29 We can spot HOM a the top and to the right on a radial of about 56° from our current location.
00:31 Straight to the South from HOM we can see NS1.
00:41 Instead of going straight towards a radio beacon, usually a designated radial is captured. For HOM we aim for the 75° radial.
00:59 Lets go the Flight Managment System (FMS) Panel. Radio Navigation settings are made on a subpage of the FMS on the Boeing Dreamliner (which is simulated by FlightZoomer). Earlier Boeing models had dedicated dials for those settings.
01:01 Open the NAV RAD page.
01:04 There are two radios available for navigation (VOR L and VOR R). Dial in the ID of the first navaid (HOM)....
01:09 ...and select it as VOR L by pressing the top left Line Select Key.
01:15 The same way select 75° as course towards VOR L. The system will guide the copter to approach the beacon on a 75° course. This means we will fly first on a course more to the north than the direct course and then, when the 75° radial is crossed, turn right towards the navaid.
01:18 The second navaid is dialed in using its frequency (110.7, as defined in the database file).
01:28 The course from HOM to NS1 is 180° (directly southwards).
01:35 Go back to the DISPLAY CONTROL panel.
01:42 Let´s see what keys we have at the top and the left side of the navigation display:
01:48 Selecting VOR L shows the direction pointer and the deviation indicator from the selected radial toward VOR L.
01:51 We see the 75° course...
01:53 ...and the deviation indicator, which is fully deflected to the left, which means that the current position is to the right from radial.
02:04 Selecting VOR R allows to display the direction pointer and the deviation indicator for the data, that has been entered for VOR R (NS1, 180°).
02:36 On the bottom we get some raw data of both activated radio navigation aids. The indications show the navaid ID and the DME value, which is the distance to the navaid (here in Meter; but can also be feet).
02:47 At the top right (in white letters) the currently selected navaid and some related data are shown (again DME, but also the direct course).
02:51 With two buttons on the instrument frame on the left the previously defined course can be altered. With +2°/-2°-steps a more suitable radial can be selected on the fly, if needed.
03:13 Go to the Relay Server, from where the actual flight simulation is triggered.
03:20 Apply forward speed, in order to start the initial leg.
03:39 Watch the deviation indicator slowly creeping to the center! This means, that we approach the radial which we want to follow to the navaid!
03:46 At the right time start turning right.
03:57 Look, how precisely we captured the radial towards HOM (this requires more skills controlling a real RC copter)!
04:01 As the first navaid is approached, switch to the second by pressing VOR R. This step prepares the right turn for the second leg.
04:21 The deviation indicator starts moving, soon the next right turn is needed.
04:25 Now start turning on a 180° course.
04:38 We ended up a bit late (= to the left of the 180° radial). Let's correct by quickly applying a 190° course.
04:42 It is an overcorrection, because we are already very close to the navaid. Close to the navaid, the deviation indicator starts to become over-sensitive and is hardy usable anymore.
05:12 At DME 7 (7 Meter distance from NS1) we stop our demo by applying zero speed.

Realer Flug, Stimmanweisungen um Flugplan zu folgen

Hallo Freunde

Heute gibt es wieder mal News zum Thema FlightZoomer und zwar in Form von einem Video!

Dabei zeige ich zum ersten Mal, wie ein realer Flug 1:1 auf dem Phone aussieht (zuvor waren es immer Simulierte Flüge mit dem Simulations Feature).

Und zwar handelt es sich um die Wiedergabe eines mit der normalen Aufzeichnungsfunktion gespeicherten früheren Fluges. Die Darstellung entspricht also zu 100% exakt dem, was mir als Pilot beim wirklichen Flug damals angezeigt worden ist. Man sieht also zum ersten Mal in diesem Demo die Aussetzer, die Flüssigkeit der Bewegungen, schlicht die ganze Darstellung auf meinem Mini Cockpit...

Als zweites Highlight habe ich in der GroundStation eine digitale Sprachausgabe integriert, die dem Piloten Anweisungen gibt, wie er dem Flugplan zu folgen hat. In einem echten Cockpit heissen diese Stimmen "Bitching Betty" falls sie weiblich ist oder "Barking Bob" falls sie männlich ist. Da FlightZoomer den Boeing 787 Dreamliner modelliert (wir machen ja Modellbau, oder?), nenne ich das Feature im Video Barking Bob (zu Deutsch, der "Bellende Robert"!)!

Die elektronische Stimme zählt auf jeden Fall die Sekunden herunter, solange der Copter geradeaus fliegen soll, kündigt Kurven an ("Turn right!" oder "Turn left!") und zählt dann ebenfalls die Sekunden herunter, die der Turn noch dauern soll.

Eine Bemerkung zu den Flugkünsten im Video:
Ich gebe zu, dass ich bei diesem Flug der geplanten Route nicht gerade glorreich gefolgt war. Der aufgezeichnete Flug wurde aber mit einer früheren FlightZoomer Version durchgeführt, bei der ich einzig anhand der Map-Darstellung dem Strich folgen konnte. Dafür gibt es bei dem Flug genügend Anlass für Barking Bob, seine Korrekturanweisungen kund zu tun...!

https://www.youtube.com/watch?v=euG-ibw1qJc

Ebenfalls verbessert oder neu eingefügt wurden in der Zwischenzeit:
- Die Anzeige des künstlichen Horizontes (Höhe und Speed haben jetzt eine Skala, die sich bewegt).
- Möglichkeit, Flugpläne zu speichern und jederzeit zu laden (in der echten 787 heisst das "Company routes").
- Vorausberechnung der Flugzeit pro Wegpunkt und des totalen Fluges (bei Sekunde 0:35 im Video).
- Möglichkeit die geplante Marsch Geschwindigkeit anzupassen, mit Neuberechnung der Gesamt-Flugdauer (bei Sekunde 0:48 im Video).
- Eine Testpiloten Funktion. Bestimmte, für die Flugkontrolle, benötigen Parameter eines Kopters können nun mit einer integrierten Funktion gemessen werden. Das heisst, ich fliege bestimmte einfache Flugmanöver und FlightZoomer misst dabei die resultierenden Parameter direkt selber (nicht im Video).

Als kleiner Nachtrag habe ich mit einem Tool, welches die im Logfile der SuperX FC gespeicherten Daten darstellt, den echten Flug aus dem vorherigen Post mal dargestellt. Ich hatte damals beim echten Flug den Fluplan zweimal abgeflogen. Wer findet heraus, ob der Ausschnitt im Video von Post #14 den ersten oder zweiten Durchgang zeigt?

https://www.youtube.com/watch?v=PM_rK21A3rs

Sodele, ich könnte mittlerweile eine Beta Version für den Enduser Test anbieten. Von mir gäbe es den Link zu den Apps im Appstore und ich müsste die Email Adresse von allfälligen Interessenten erhalten.
Noch eine Ergänzung zur Frage von ServiceHans: Ich kann mittlerweile bestätigen, dass Edge problemlos funktioniert....

Hallo

Mittlerweile bin ich fleissig am dokumentieren. Attached findet Ihr einen der ersten fertigen Abschnitte (die Referenz für die Sensoric App).

Anhang anzeigen FlightZoomer Sensorics Reference.pdf

Die Features für V1 sind nun fertig. Zuletzt kamen folgende Features dazu:

- ILS:
Damit lassen sich nun Anflüge auf selber definierte Landebahnen simulieren. Das System zeigt die horizontale und vertikale Abweichung vom Gleitstrahl an. Man dazu gibt auf der RAD NAV (Radio Navigation = Funknavigation)-Seite der Groundstation die ILS Frequenz gewünschte Landebahn aus (man beliebig viele selber definieren, siehe unten).
Der folgende Link zeigt als Animation, wie ein ILS funktioniert.
http://instrument.landingsystem.com/ils-tutorial-animation/

- Definition der Navigations-Hilfsmittel (Funkfeuer, Flugplatz, Landebahnen) mit WYSIWYG Luftbildunterstützung:

Nachdem ich mal für einen Flug auf LUMIA 925 als Sensor Gerät gewechselt habe, gab es gleich eine drastisch verbesserte Positions-Genauigkeit zu verzeichnen.

Dabei ist mir der (meiner Meinung nach) welterste ILS Anflug mit einem Quadcopter gelungen (mit Marker Beeper, der Realität nachgebildeten Instrumenten und so..). Seht doch selbst in folgendem Video:

https://www.youtube.com/watch?v=rLYxElEKVvU

Kann man Flight zoomet jetzt schon selbst mal testen?

Sorry, für die verspätete Antwort.
Ich bin daran, die letzten zwei Kapitel der Dokumentation zu schreiben.
Auf flightzoomer.com habe ich bereits mal einiges an Doku hochgeladen.
Danach folgt die Zertifizierung der Apps und der Release.
Du fragst mich nach einem konkreten Termin? Hm, ich mag mich diesbezüglich nicht aus dem Fenster lehnen (das Projekt läuft auf Hobby Basis und da Software Entwicklung auch mein Beruf ist, weiss ich, dass präzise Terminvoraussagen in der Realität beinahe ein Ding der Unmöglichkeit sind)...