An die beiden Tore erinnern noch heute die Straßenbezeichnungen "Mühlentor" und "Steintor". Sie waren Teil einer Befestigungsanlage, die - zusammen mit der Burg - der Bevölkerung vor allem in kriegerischen Zeiten Schutz bot.

Die bislang ausführlichste Darstellung der Burg und der von ihr ausgehenden Stadtmauer hat der Brichter Heimatforscher Dr. Dr. Arnold Maas bereits vor 1972 vorgelegt. Ein Manuskriptband zur geschichtlichen Entwicklung Schermbecks, dessen Publikation Arnold Maas vor seinem Tod nicht mehr gelang, entpuppt sich heute als eine wahre Fundgrube. Dr. Maas hatte im Rahmen seiner umfangreichen Forschungen in mehreren Archiven herausgefunden, dass die Grafen von Kleve um 1300 ihre Machtstellung so weit gefestigt hatten, dass sie zum Schutz ihrer Grenze eine Burg errichten konnten, die sie mit bewaffneten Burgmannen und Burgleuten besetzen. "Die Burg Schermbeck ist seit etwa 1350 Amtssitz der Drosten und Amtsmänner gewesen und bis Mitte des 17. Jahrhunderts geblieben", berichtet Dr. Maas.

Zwischen 1415 und 1420 ließ der klevische Herzog Adolf Schermbeck befestigen. Der Ort, dem etwa im Jahre 1417 vom Herzog Adolf die Stadtrechte verliehen wurden, erhielt eine Stadtmauer, die über zwei Stadttore und acht Türme verfügte. In Egbert Hopps Buch "Kurtze Beschreibung deß Landes sampt angehenckter Genealogioe der Graffen und Hertzogen zu Cleve..." aus dem Jahre 1655 fand Dr. Maas einen Hinweis auf die Burg und die Stadtmauer. Die älteste bislang bekannte kartographische Darstellung der Befestigungsanlage fand der Dammer Heimatforscher Helmut Scheffler im Jahre 1979 im Hauptstaatsarchiv Düsseldorf (Handschrift N III 7). Diese Karte aus dem Jahre 1640 zeigt das "Ampthuis" (Burg) mit dem "Borg Graben" und einem äußeren "Wall", außerdem die Stadtmauer mit einem vorgelagerten "Wasser Graben" und dem "Stadtwall".

Noch anschaulicher wird die Befestigungsanlage beim Blick auf einen Stich, der in verschiedenen Publikationen noch immer unter der Bezeichnung "Schermbeck um 1700" abgedruckt wird, obwohl seit mindestens 1987 bekannt ist, dass der Stich von Henrik Feltman zwischen 1660 und 1669 entstanden sein muss. So zeigte sich Schermbeck den Reisenden, wenn sie sich von der Südwestseite dem Ort näherten. Zwischen der Georgskirche (rechter Turm) und der Ludgeruskirche (mittlerer Turm) erkennt man das Mühlentor. Der große Gebäudekomplex an der linken Seite kennzeichnet die Burg. Außerhalb der Stadtmauer wurde Landwirtschaft betrieben.

Burg und Stadtmauer haben während einiger Stadtbrände fast gar nicht gelitten. Beim Stadtbrand am 14. August 1424 oder 1425 soll laut Übersetzung einer lateinischen Inschrift am Tage vor dem Feste Himmelfahrt "die Stadt Schermbeck besetzt und ganz mit Kirche und Burg in Brand" gesteckt worden sein. Beim zweiten Stadtbrand im Sommer 1483 wurde die Burg nicht zerstört. Aus der Tatsache, dass in zwei Bittschriften aus den Jahren 1640 und 1641 in der Liste der 65 beschädigten Häuser die Burg fehlt, kann man schließen, dass die Burg beim dritten Stadtbrand am 28. Juni 1640 nicht in Mitleidenschaft gezogen wurde. Die beiden Stadttore hatten hingegen sehr gelitten. Beim vierten Stadtbrand am 29. September 1742 tauchen in keinem der von Dr. Maas gefundenen Bittschreiben über die Brandgeschehnisse Teile der Befestigungsanlage auf.

Beim fünften großen Stadtbrand im März 1945 gab es den größten Teil der Stadtmauer gar nicht mehr. Die Stadtmauer war noch auf Karten im 18. und frühen 19. Jahrhundert in Teilen zu erkennen. Mit der teilweisen Niederlegung von Mauern und Wällen wurde ab 1718 begonnen, wobei auch der Stadtgraben mit Materialien des vorgelagerten Walls zugeschüttet und das neu gewonnene Land verpachtet wurde. Im Jahre 2011 tauchten Teile der Stadtmauer auf, als in der Georgstraße im Bereich der ehemaligen Budo-Schule ein Gebäude abgerissen wurde. Das Backsteinmauerwerk wurde genau dokumentiert. Die Dokumentation legt Zeugnis davon ab, dass in Schermbeck sogar Wohnhäuser in den Bau der Stadtmauer miteinbezogen wurden.