Das Ensemble von Schloss Hardenberg stellt mit Vorburg und Mühlengebäude einen relativ gut erhaltenen und in seinem Umfeld von störender Bebauung verschonten Herrensitz dar, dessen Gründung in der Mitte des 13. Jahrhunderts erfolgte. Damals und in der Folgezeit entstand eine mittelalterliche Wasserburg mit einem zweiflügeligen Palast und vorgesetztem Hauptturm, umgeben von einer hohen Schildmauer und vier runden Wehrtürmen sowie einem viereckigen Torturm mit einer Zugbrücke.
Zusätzlichen Schutz boten umfangreiche Wassergräben und Teichanlagen rund um das Hauptgebäude und die im unregelmäßigen Viereck errichtete Mauer. Das Wasser wurde von der östlich vorbeifließenden Navigisa (Hardenberger Bach) hergeleitet. 1354, als die Herren von Hardenberg ihren gesamten Besitz an die Grafen von Berg für die ungewöhnlich hohe Summe von 6.000 Mark in brabantischer Währung verkauften, wurde die in der Verkaufsurkunde aufgeführte Wasserburg "Haus zu Hardenberg" genannt.
1491 nahm man an diesem ,,Haus'' für 800 Gulden Um- und Erweiterungsbauten vor, wodurch es die oben beschriebene äußere Form einer mittelalterlichen Burganlage erhielt, die ab dieser Zeit immer als Schloss bezeichnet wurde. Ein Verzeichnis von 1634 belegt für das Innere einen Saal, acht Kammern, ein Schulzimmer und eine Kapelle; im Dachgeschoss befanden sich ferner Gemächer für die Dienerschaft, eine Rüstkammer sowie zwei Söller für Getreide. An die hohe Schildmauer waren von innen Gebäude für eine Küche, für ein Back- und Brothaus angebaut. Im 17. Jahrhundert, wahrscheinlich im Hinblick auf mögliche Überfälle oder Belagerungen während des 30-jährigen Krieges, entstanden innerhalb an die Schildmauern im halben Bogen angebaute Kasematten. Diese unterirdischen Verbindungsgänge zu den vier Türmen dienten dem wirksameren und schnelleren Einsatz der Verteidiger.
Am 13. Mai 1785 vernichtete ein Großbrand größere Teile des Hauptgebäudes. Ein Jahr lang dauerte der Wiederaufbau, der auch starke bauliche Veränderungen herbeiführte. Die Reste des Schlosses wurden mit dem Hauptturm zu einem rechteckigen Kubus zusammengebaut, der dann ein zeitgemäßes, barockes Mansarddach erhielt. Der Um- bzw. Neubau mit Verwendung älterer Teile ist heute noch erkennbar an den unterschiedlichen Geschosshöhen der Hauptfassade als auch am engräumigen Treppenhaus in Inneren. In der Mitte des 19. Jahrhunderts erfolgte die letzte größere Umgestaltung der Schlossanlage. So wurden der Torturm abgebrochen, die Schildmauer weitgehend abgetragen und mit dem Bauschutt die Wassergräben verfüllt.
Die Freiherren von Wendt hatten vom Schloss aus bis 1806 die bergische Unterherrschaft Hardenberg regiert. Friedrich Wilhelm von Wendt wurde danach 1808 zum ersten Bürgermeister der Mairie Hardenberg ernannt, gab dieses Amt aber nach kurzer Zeit auf und verlegte 1811 den ständigen Wohnsitz der Familie nach Schloss Crassenstein im Münsterland. Einzelne Mitglieder der Familie wohnten sporadisch noch bis 1896 im Nevigeser Schloss.

1908 wurde das Hauptgebäude von einem Wirt gepachtet, der eine Gastwirtschaft mit Biergarten und Bootsverleih auf dem Schlossteich betrieb.

1939 verkaufte der damalige Besitzer Graf Wladimir von Marchand-Ansembourg das Schloss an die Stadt Neviges. Während des Zweiten Weltkrieges wurde darin das Postscheckamt Essen provisorisch untergebracht. Ab 1949 bis in die 60er Jahre diente das Schlossgebäude unter der Trägerschaft der "Deutschen Pfadfinderschaft St. Georg" als Wohnheim ("Heimstatt Schloss Hardenberg") für vertriebene Jugendliche und später für Lehrlinge aus strukturschwachen Gebieten. 1964 führte die Stadt Neviges umfangreiche Sanierungsarbeiten am Schloss durch und richtete den Rittersaal als Sitzungsraum für den Rat der Stadt ein. Nach der kommunalen Neugliederung 1975 wurde Schloss Hardenberg in der neuen Stadt Velbert ein Haus für kulturelle Begegnungen, Konzerte und wechselnde Kunst- und stadtgeschichtliche Ausstellungen sowie Domizil des Stadtarchivs, bis es 3 wegen tiefgreifender Sanierungsmaßnahmen geschlossen werden musste. Die Wirtschaftsgebäude der Vorburg entstanden in der heutigen Form größtenteils um 1680 (s. Maueranker am Südflügel); sie waren ursprünglich im Südosten und -westen mit Ecktürmen versehen sowie zum Teil von Teichen und Wassergräben umgeben. Die dreiflügelige Anlage beherbergte im Ostfügel Scheune, Remise sowie die Försterwohnung, im Südflügel Pferde- und Kuhstall, später auch einen Malzkeller. Im Fachwerkbau des Westteils befand sich das Brauhaus und Wohnhaus des Brauereibesitzers, das 1842 als zweigeschossiges Gebäude vergrößert und nach Norden hin erweitert wurde. Zu Kühlzwecken wurde 1846 ein 100 Fuß langer Felsenkeller hinter dem Westflügel in den Berg hinein gebaut.
Von 1932 bis 1958 diente die Vorburg als Bauernhof, der zuletzt in städtischem Besitz war, denn 1952 hatte der Graf von Marchand-Ansembourg auch alle Ländereien an die Stadt Neviges verkauft.
Das Mühlengebäude an der Straße entstand 1842, nachdem der Vorgängerbau aus Fachwerk von 1769 abgerissen worden war. Es wurde mit dem Steinmaterial des ebenfalls niedergelegten Torturms und des Mühlentorhauses erbaut und mit zwei Wasserrädern ausgestattet. Diese Schlossmühle (auch Oberste Mühle genannt) war ursprünglich eine Zwangsmühle, betrieben - mit einem angestellten Müller - von den Hardenberger Herren, die sie dann ab 1697 für die hohe Summe von jährlich 500 Talern verpachteten. Bis 1874 sind Mühlenpächter nachgewiesen. Über viele Jahre wurde dann das Haus bis in die Gegenwart hinein als Wohngebäude genutzt - doch zur Zeit steht es leer und man wartet auf Menschen, denen eine solche Bleibe vielleicht als künstlerisches Domizil dienen könnte. Der Förderverein möchte dabei eine volle Integrierung der "Alten Mühle" in das Kulturensemble durch private Initiative erreichen.