In de 18de eeuw vond een sociale verandering plaats. De tot dan toe heersende adel werd langzaam vervangen door burgerlijke zakenlieden. Terwijl de adel zijn macht, rijkdom en prachtige kastelen tentoonstelde, bouwden de zakenlieden nu statige huizen.
Het Orley huis is een goed voorbeeld van deze verandering. Terwijl het kasteel - dat toornt boven de huizen - langzaam in verval raakte, bouwde de familie Orley een prachtig gebouw aan de voet ervan. Boven de barokke deurlijst, uitgevoerd in leisteen van Recht, staat het familiewapen en het bouwjaar 1747. Het huis van Orley kan worden omschreven als een luxueus gebouw naar de maatstaven van die tijd. Er waren toiletten in het huis, een verwarmingsysteem en bijzonder grote ramen. Zelfs de rode kleur van de gevel was duur en staaft de sociale status van de familie Orley. Al deze details waren in die tijd niet gebruikelijk en kostten nogal wat geld. Het huis is gebouwd met breuksteen en werd dan bepleisterd. De randen van de ramen en de deuren zijn van leisteen uit Recht. De kelder, een open haard in de keuken en talrijke lambriseringen in het interieur komen waarschijnlijk van een vorig gebouw.