Kasteel Nunhem biedt in In 1732 onderdak aan verdreven nonnen uit het Brabantse Ommen. De zuster namen het Maria genadebeeld mee naar Numhem en dit keerde pas in 1840 terug naar Ommen. De volgende eigenaar was een Rotterdamse zakenman, die er een zaadverdelingsbedrijf begon.
Helaas is dit kasteel in 1947 verwoest door een brand, er bleef slechts een ruïne over. De oude buitenmuren zijn gebruikt bij de restauratie. Tegenwoordig is het kasteel in gebruik door Nunhems Netherlands BV, het groentezaadveredelingsbedrijf van chemieconcern BASF.