Der mittelalterliche Rittersitz gehörte zu einer der ersten Ansiedelungen in Haarzopf. Das Haus wurde nach seiner Bauweise benannt. Seinerzeit war ein Haus aus Stein modern und ungewöhnlich, die übliche Bauart war das Fachwerk.
1550 wurde das Haus zu einer Wasserburg ausgebaut. Das Herrenhaus und die Vorburg wurden von einem Wassergraben umringt. Das Anwesen wurde durch seine wechselnden Besitzer mit zusätzlichen Wirtschaftsgebäuden und Anbauten am Herrenhaus stetig erweitert. Im 19. Jahrhundert verarmten die damaligen Eigentümer. Folglich verfiel die Anlage und wurde schließlich größtenteils abgerissen. Es blieben lediglich der südöstliche Seitenflügel des Haupthauses, einige weitere Kellergewölbe und umgebaute Nebengebäude erhalten. Heute befindet sich das Haus Stein im Privatbesitz und ist öffentlich nicht zugänglich.