Mit hoher Wahrscheinlichkeit hat sich bei Deiner Kalibrierung doch irgendeine Unsauberkeit eingeschlichen, sonst hättest Du den Drift ja nicht. Bedenke, dass solche Kalibrierhilfen wie T-Motor Pappkartons viel zu ungenau sind. Ein Winkelfehler von 0,5 Grad auf der späteren Roll-Achse wird dann schon rechnerisch zu einem Grad, da +0,5 Grad in die eine Flugrichtung -0,5 Grad in die Gegenrichtung bedeuten. Praktisch wird meistens sogar noch ein größerer Winkelfehler daraus.
Zudem kann der Montagepunkt Deiner IMU noch einflussgebend sein. Der theoretisch ideale Platz liegt exakt in der Waage aller drei Achsen. Das ist zwar in der Praxis unmöglich, weil sich ja dort die Kamera befindet, doch man sollte dem zumindest so nah es geht kommen, also die IMU so dicht es geht an der Kamera montieren.