Die historische Hafenkante lag in der Vergangenheit viel näher an der Bebauung. Im 19. und 20. Jahrhundert schüttete man zur Platzgewinnung im Hafen immer mehr Fläche auf, so dass die Unterwarnow im Hafenbereich immer schmaler wurde. Deshalb würde das Fischertor heute fast auf der modernen Straßenschneise stehen. Die Stadtmauer wurde in diesem Bereich um 1960 für die Neugestaltung des Stadtzentrums mit einem Hochhaus und einer Straßenbrücke abgebrochen.