Ursprünglich war das Gebäude mit Wassergraben und Mauern versehen. Heute steht jedoch nur noch das innere Haus und erinnert durch seinen Namen an den geringen Umfang des Gebäudes. Das Schlössle war immer wieder Schauplatz von Kriegshandlungen. Im Jahr 1440 etwa war die Erstürmung der Stadt über die Tore vergeblich und so wurde das Schlössle erstiegen. An den Außenmauern sind die Hochwasserstände des Mains eingelassen.