Ein Upgrade eines alten Mac OS X Server 10.8 (Mountain Lion) Systems direkt auf macOS 10.12 mit der Server App 5.2 ist von Apple nicht vorgesehen.
Ein Upgrade von 10.8 auf z.B. 10.12 (Client) lässt sich zwar durchführen, und ein Kauf der Server App 5.2 ist auch möglich, doch diese lässt eine Migration eines 10.8 Servers oder älter nicht mehr zu. Die Unterschiede (zeitlich und wohl auch funktionell) sind zu weit auseinander, als dass diese fehlerfrei migriert werden könnten.
Ein Zwischenschritt ist nötig.
Ihr solltet auf alle Fälle schon mal die Server App 5.2 via aktuellem Mac OS 10.11 oder macOS 10.12 über die Apple ID erwerben, die ihr auf dem eigentlichen Server nutzen möchtet (für die Käufe). Ein Kauf einer älteren Version ist – direkt – nicht möglich.
Sodann aktualisiert euer System bitte nur auf 10.10.5 (via USB Stick, den ihr euch selbst anfertigt). Nun könnt ihr euch mit besagter Apple ID am Store anmelden und unter bereits gekauften Apps die Server App erneut laden. Dabei kommt dann die entscheidende Meldung, dass die aktuelle Server App zu neu sei und statt dessen eine kompatible (ältere) Version geladen werden soll. Et voilá, so kommt ihr an die benötigte Server App Version, die ihr dann für das Server-Upgrade nutzen könnt.
Im Anschluss könnt ihr dann auf macOS 10.12 aktualisieren, die aktuellste Server App laden und erneut migrieren lassen, so dass ihr nun auf dem aktuellsten Stand seid.
Viel Erfolg!