Nachdem ich nun endlich hinbekommen habe, GStreamer auch auf der Pi-Seite loszuwerden, scheint es erstmal keine Latenzverbesserungen hierdurch zu geben. Ich habe zwar wieder die CPU-Last erheblich senken können (konstant unter 5% gegenüber 40% mit GStreamer), aber auf Anhieb bleibt die Latenz nur in gleichen Bereichen.
Von daher empfehle ich allen, die sich auch diese Mühe machen wollen, es direkt zu lassen...
Höchstens wenn die Fragmentierung von UDP-Paketen des IP-Stacks langsam ist (wovon ich nicht ausgehe), und man es deshalb lieber selber implementiert, könnte noch etwas herauszuholen sein, wahrscheinlich aber eher nicht. Aktuell verlasse ich mich nämlich darauf, dass die IP-Schicht das schnell hinbekommt.