Das Schloss in Saint-Germain-en-Laye ist eines der schönsten Schlösser der Île-de-France mit einer langen und reichen Geschichte. Die königliche Residenz war seit Ludwig VI. Le Gros im 12. Jahrhundert sowohl ein Ort des Vergnügens, als auch ein Ort der Macht für die Könige von Frankreich. Viele königliche Erlasse oder Verträge wurden in Saint-Germain-en-Laye unterzeichnet, bis der Vertrag von 1919 den Krieg mit Österreich offiziell beendete.
Ludwig VI. ließ im 12. Jahrhundert eine Festung errichten, die unter der Herrschaft von Saint-Louis (der Heilige Ludwig) ein Jahrhundert später umgebaut und erweitert wurde. So kam zum Beispiel die gotische Kapelle hinzu, in der bis zum Bau der Sainte Chapelle in Paris die Reliquien Christis aufbewahrt wurden. Nach der Fertigstellung der Sainte Chapelle auf der Ile de la Cité wurden die Reliquien dorthin überführt. Die Kapelle ist das einzige Gebäude, das noch von der Festung aus dem 13. Jahrhundert übriggeblieben ist.
François Ier errichtete 1539 auf den Fundamenten des alten Schlosses von Karl V. einen Renaissancepalast. Ende des 16. Jahrhunderts ließen Henri II und Henri IV (Heinrich II und Heinrich IV) daneben ein zweites Gebäude errichten, das Château-Neuf, das sich auf dem Gelände des heutigen Pavillons Henri IV befand. Der Sonnenkönig wurde in diesem Schloss 1638 geboren und verbrachte dort ab 1666 die ersten Jahre seiner persönlichen Regierungszeit, bevor er 1682 nach Versailles ging.
Das Schloss in Saint-Germain-en-Laye ging nach der Abreise von Ludwig XIV in die Hände von Jakob II von Stuart, dem Cousin des englischen Königs über. Doch dieser verfügte nicht über die finanziellen Mittel, um das Schloss zu unterhalten. Nach und nach wurde es nicht mehr genutzt und es gab dunkle Jahre für die königliche Residenz.
Das Château-Neuf wurde zerstört. Zwar bot König Ludwig XVI seinem Bruder, dem Grafen von Artois, das Schloss und 600.000 Pfund für die Renovierung an, doch dieser zog es vor, das nahegelegene Château de Maisons zu renovieren. Während der Revolution wurde das Schloss als Staatseigentum beschlagnahmt, danach verkauft und als Steinbruch verwendet.
Heute erinnert eine Inschrift am Eingang an das verschwundene Schloss und den Geburtsort des Sonnenkönigs.
Das Château-Vieux wurde nach der Revolution in ein Gefängnis und danach in ein Militärlager umgewandelt. In schlechtem Zustand und der Zerstörung nah, wurde es dank der Schaffung eines archäologischen Museums durch Napoleon III. restauriert und somit gerettet. 1867 wurde es eingeweiht und präsentierte etwa 30.000 Ausstellungsstücke.
Die Gärten des Schlosses wurden vom weltberühmten Gärtner Ludwigs XIV angelegt, André Le Nôtre. Wie in allen von ihm angelegten Gärten spielten Geometrie, Symmetrie und Perspektive hier eine wichtige Rolle.
Neben dem Schloss befindet sich eine Kopie der Trajansäule, die auf Wunsch von Napoleon III geschaffen wurde.
Während des zweiten Weltkriegs war Saint-Germain-en-Laye die deutsche Kommandozentrale der Westfront. Aus dieser Zeit stammen die Bunker.