Hallo Andre,
per Ferndiagnose würde ich sagen, dass das vollkommen normal ist.
Es dauert einfach seine Zeit, bis man a) locker und automatisiert und b) musikalisch spielt.
Im "Alter" ist es schwerer, die nötige Koordination und Feinmotorik zu erlernen. Auf der anderen Seite hast du, wie ich es raushöre, den großen Vorteil, dass du merkst, wenn es hapert und scheiße klingt. 
Diese Selbstreflektion ist tatsächlich nicht zu unterschätzen. Nur wenn man die Baustellen bemerkt, kann man gezielt daran arbeiten.
Den Beat, den du da rausgesucht hast, halte ich für gar nicht so trivial. Hätte ich den in den ersten Jahren gespielt, wäre der sicher auch nicht rund gelaufen.
Mein Tipp (den du sicher schon oft gehört hast): Übe (sehr) langsam und wiederhole oft. Nur so kannst du deinen Gliedmaßen bewusst machen, wann sie genau wo hin müssen.
Es hilft auch, mit zu singen, was man spielt. Das macht einem ebenfalls bewusst, was man da eigentlich macht / machen will.
Um locker und frei spielen zu üben, würde ich ein Metronom oder einen nicht ganz so langweiligen Loop laufen lassen, mir einen recht einfachen Rhythmus raussuchen und diesen dazu in Dauerschleife sehr langsam spielen. Dabei wirklich auf die einzelnen Schläge konzentrieren, mal die Bass, mal die Snare, dann die HH im Fokus haben und ganz bewusst spielen. Wenn jeder Schlag da sitzt, wo er hingehört, und du nicht mehr das Gefühl hast, vom nächsten Schlag überrascht zu werden, konzentriere dich auf die Musik im Hintergrund und lass den Rhythmus einfach laufen.
Fills könntest du erst mal sprechen statt zu spielen. Also 3 Takte Beat, dann 1 Takt Pause. Nach ein paar Durchläufen füllst du die Pause indem du einen Fill in singst: Bada Bede Budu Bap oder was auch immer. Dann musst du dich nur aufs Takthalten konzentrieren und nicht auch noch zusätzlich versuchen, etwas zu spielen. Wenn sich das natürlich anfühlt, übe den Fill alleine in Schleife und setzte ihn dann ein. Ruhig weiter mitsingen. Irgendwann bekommst du ein Gefühl dafür.
Das "Aus der Spur kommen", wie du schreibst, kann man verhindern, wenn man den Puls, also die Taktschläge, ganz bewusst verinnerlicht (Mitwippen, -nicken, -sprechen oder -singen hilft ungemein) und wenn man weiß, was man spielen möchte. Wenn man vom Blatt spielt, schaut man ein wenig voraus. Man will ja nicht überrascht werden und benötigt Zeit für die Ausholbewegung. Wenn man frei spielt ist das nicht anders: Auch hier benötigt jeder Schlag ein wenig Vorbereitung. Zudem neigt man leicht dazu, in diesen "Stresssituationen" zu hetzen oder zu langsam zu spielen und nicht mehr bei der 1 rauszukommen bzw. die Zählzeiten zu verlassen. Auch da hilft bewusstes Spielen und Routine.
Ich könnte mich jetzt noch ein paar Mal im Kreis drehen, ist ja auch schon spät. 
Das Fazit ist aber, dass an den Punkt, an dem du dich befindest, jeder vorbei kommen muss. Bei besonders talentierten Leuten geht's schneller, andere müssen sich das Weiterkommen erarbeiten. Im Prinzip ist aber genau das die wichtigste Hürde, die es zu nehmen gilt. Und es lohnt sich, dran zu bleiben. Irgendwann kannst du andere Musiker begleiten, ohne darüber nachzudenken, was du spielst. Du hörst zu, fühlst was passt und spielst ganz automatisch das Richtige. Wenn dir das Schlagzeugspielen jetzt schon Spaß macht, wirst du es dann lieben.
Also Geduld, das wird schon.
Du hast dich ganz offensichtlich schon deutlich mehr und besser informiert als viele andere Fragesteller. Sehr schön.
