"Úgy néz ki ,hogy ha csak egyetlen test van akkor nincs értelme távolságokról beszélni."

Igen, így van.

De ha nincs távolság, akkor nincs tér sem. 

Minden térelmélet, vagy geometria a távolság fogalmából indul ki.