De geschiedenis van het kasteel en zijn bewoners is uitgebreid beschreven door W. v.d. Heijden in: "De huysinghe Seldensath in de heerlijckheyt van Beerlichem onder Middelroij" (Berlicum, 1979). Seldensate wordt ook wel gespeld als Seldensat(h) of Zeldenzat) en is rond 1440 gebouwd, als uitbreiding van de Hoeve van het Gewad, die omstreeks 1300 aan een doorwaadbare plaats (Gewathe) in de rivier de Aa zou zijn ontstaan. In de loop der tijd groeide het onderkomen uit tot een omgracht kasteel, dat ook een duifhuis, een kapel en een brouwerij bezat. De oudst bekende schriftelijke vermelding is uit 1469, toen er een erflating plaats vond waaruit bleek dat het gebouw toen al enige tijd bestond.
In 1890 liet de toenmalige eigenaar, Valerius Bosch, het gebouw grotendeels afbreken. De gracht werd bijna geheel gedempt. De entree bleef gehandhaafd. Op de oude fundamenten werd een wit herenhuis met een stompe toren gebouwd in een samenraapsel van stijlen. De tuin, waarin magnolia's en subtropische kuipplanten weelderig bloeiden, werd gerenoveerd. Het "kasteeltje" kreeg een eigen waterleiding, centrale verwarming, elektrische verlichting, een tennisbaan en een ijskelder, die geïsoleerd onder een hoge zandheuvel lag.
In 1959 werd het huis gesloopt na een lange periode van verwaarlozing en leegstand. Het gevaar van instorting was te groot geworden. De gemeenteraad van Berlicum besloot op 3 november 1972 het landgoed van 10 ha. met de (resten van) de gebouwen te kopen voor 287.000,- gulden. De notariële akte passeerde op 25 mei 1973. Het poortgebouw, de duiventoren en het koetshuis werden gerestaureerd, de gracht rond de kasteel ruïne werd uitgegraven.