Die Anfänge von Seldom House liegen im frühen 15. Jahrhundert. Die heutige klassizistische Form wurde im Jahr 1768 fertiggestellt und verfügt über 177 Zimmer, verteilt über 4 Obergeschosse und 4 Untergeschosse.

Das Anwesen verfügt über verschiedene Wirtschaftsgebäude und eine im Jahr im 1849 von Joseph Paxton konstruierte Orangerie, die als Vorläufer des Weltberühmten Crystal Palace in London diente. Hier, wie auch in der weitläufigen Parkanlage von Seldom House, gedeien seltenste Pflanzen.

Im Hauptgebäude selbst, das quadratisch um einen Innenhof angelegt wurde, befinden sich die umfangreiche Bibliothek und einzigartige Kunstsammlung von Nestor Nigglepot.