In Süchteln erinnert heute ein Straßenname an ihn, etliche Aufsätze in den Heimatbüchern des Kreises beleuchten verschiedene Aspekte seines Wirkens, und der Kreis Viersen widmete ihm 1999 die Gedenkmedaille. Viel ist über ihn geforscht und geschrieben worden, so ist die Bibliothekarin Hildegard Föhl bereits 1962 seinem schriftstellerischen Werk nachgegangen. Als "glänzender" Schüler war er schon am Kölner Marzellen-Gymnasium aufgefallen. Nach dem Studium der Theologie und Philosophie in Bonn wurde er im Jahr der Reichsgründung 1871 zum Priester geweiht, danach Kaplan in Viersen und Lehrer an der dortigen höheren Schule. 1891 folgte die Berufung zum Pfarrer von Süchteln.

Zu den besonderen Anliegen des vielseitigen Mannes gehörte die Unterstützung der Arbeiterinnen. Aber nicht nur die unmittelbare Unterstützung des weiblichen Arbeitermilieus war sein Bestreben, auch die Befähigung der Frauen, sich selbst zu organisieren, gehörte zu seinen Zielen. Viele seiner Schriften hatten die Arbeiterinnenvereine zum Gegenstand. So veröffentlichte er 1881 in Mainz das "Handbüchlein zur Gründung und Leitung von Arbeiterinnenvereinen". Es war die Epoche, in der die Industrie-Arbeiterschaft begann, ihr Los in die eigene Hand zu nehmen, wobei Norrenberg selbstverständlich alles unter entschieden katholischem Vorzeichen betrieb. So geriet er bald in einen heftigen Konflikt mit dem 1892 gegründeten "Süchtelner Zweigverein des Vaterländischen Frauenvereins", dem er - die Erinnerung an den Kulturkampf war noch sehr lebendig - zu viel Protestantismus und Affinität zu den Freimaurern nachsagte. Doch rühmt ihm das LVR-Geschichtsportal nach: "Mit seinem 1875 gegründeten Arbeiterinnenverein gehörte Peter Norrenberg zu den Ersten, die sich mit den Problemen der Frauen in der Industrieproduktion beschäftigten."

Dabei ist er Gesang und Geselligkeit alles andere als abgeneigt gewesen. Die schönste Frucht dieser Seite seines Charakters sind die 1875 von ihm unter dem Pseudonym "Hans Zurmühlen" in Viersen herausgegebenen 150 Volkslieder unter dem Titel "Des Dülkener Fiedlers Liederbuch". Selbst die Übersetzung eines zeitgenössischen englischen Romans gehört zu seinem Oeuvre.

Alles dies vermochte er mit seinem priesterlichen Auftrag bestens zu verbinden. Und wenn man dem im Stadtarchiv Mönchengladbach erhaltenen "Festbuch" zur Amtseinführung des vormaligen Viersener Kaplans glaubt, dann wurde er als Pfarrer in Süchteln mit enthusiastischer Freude aufgenommen. Seine lange Zeit als Kaplan war in diesen Zeiten, als das Wort vom Priestermangel in der katholischen Kirche noch unbekannt war, nichts Außergewöhnliches. 1891 wurde emsig zu seinen Ehren gedichtet - in eben völlig zeitgemäßer Sprache: "Wer hätt' nicht schon längst erfahren, Was er Großes hat gethan. In den langen zwanzig Jahren, Da in Viersen er Kaplan?"

An anderer Stelle heißt es: "Der Mann, der auch von unserer Stadt Die Chronik einst geschrieben hat? Der edle Mann ist uns bekannt. Er wird ja Norrenberg genannt!"

In Süchteln war ihm freilich nur eine kurze Zeit des Wirkens vergönnt. Und angesichts seiner wissenschaftlichen, literarischen und sozialpolitischen Umtriebigkeit und Erfolge muss man es beklagen, dass ihm nicht einmal 47 Lebensjahre beschieden waren. 1894 wurde er plötzlich aus seinem Schaffen gerissen und erlag in Rhöndorf am Rhein einem Gehirnschlag. Eine umfassende Erforschung von Leben und Werk Peter Norrenbergs steht leider immer noch aus.