Das Schloss liegt nördlich des Dorfes Irlbach in der Talsenke des Ödbaches. Die dreigeschossige Anlage gruppiert sich um einen kleinen Innenhof. Den Zugang zum Hof vermittelt an der Südseite ein Torturm, die Westseite nimmt ein Wohnbau mit dem Kapellenturm ein, mit dem Torturm durch einen schmalen Zwischenbau verbunden. Die Ostseite des Hofes schließt ein neuerer Wohnbau, der nach Süden über den Baublock heraustritt. Er umschließt den mittelalterlichen Bergfried gegen das Nordende zu. An der Nordostecke springt fast isoliert der polygene Bibliotheksturm vor.
Mit der Hofmark wechselte auch das Schloss seine Eigentümer und wurde damit dem Geschmack und den Bedürfnissen der neuen Herren angepasst.
Im 13. Jahrhundert werden die Erlbacher, im 14. Jahrhundert die Peitzkofer als Be- sitzer der Hofmark genannt, denen 1439 die Altenburger und 1451 die Chamerauer im Besitz folgten. Zu Beginn des 16. Jahrhunderts hatten die Zenger Irlbach inne. Gegen Mitte des Jahrhunderts kam es an die Freiherrn von Fraunberg. Nach dem Tod des Hans Christoph von Fraunberg ging Irlbach in den Besitz seiner Tochter Genoveva und deren Ehemänner (1.) Alexander von Grotta und (2.) Ulrich von Tabertshofen, von dem es 1646 an die Herrn von Fränking veräußert wurde. 1654 bis 1691 befand sich das Schloss im Besitz der Familie von Koeckh, nach deren Aussterben es im 18. Jht nacheinander in die Hände der Freiherrn von Mundt, Türnitz und Leoprechting überging. 1811 erwarb es Franz Gabriel von Bray (seit 1813 bayrischer Graf).
Der Bergfried erhielt im 18. Jahrhundert statt des Zeltdaches einen Zwiebelhelm, der bei der Umgestaltung im 19. Jahrhundert wieder abgetragen wurde. Das Schloss wurde nämlich durch die neuen Besitzer, die Grafen von Bray, beträchtlich erweitert. Sie schlossen den Hof durch neue Flügelbauten, fügten an der Nordostecke den polygenen Bibliothekbau an und gaben den Außenfassaden durch stuckierte Fensterumrahmungen die jetzige Form. Die Innenräume wurden damals im Geschmack des späten Klassizismus ausgestattet. In der Mitte des Jahrhunderts wurden die barocken Turmhelme entfernt und im neugotischen Geschmack auf die jetzige Form gebracht. Aus dieser Zeit stammt auch die Erhöhung des Ostflügels. der in seiner äußeren Ausstattung dem Westflügel angepasst wurde.
Seit der Heirat der Gräfin Anna von Bray-Steinburg mit dem Freiherrn Adalbert von Poschinger im Jahr 1941 ist das Schloss im Besitz der Familie von Poschinger-Bray.
Über die Baugeschichte ist wenig bekannt. Von der ursprünglichen gotischen Anlage ist noch der Bergfried und der Torturm erhalten. Den Hof schloss an der Ost- und Südseite eine Mauer mit Zinnen ab, die Ecke war durch ein rundes Scharwachtürmchen mit Schlüsselscharten bewehrt. 1560 veränderte Carl von Fraunberg das Schloss durch einen umgreifenden Um- und Neubau. Von ihm stammt der Westflügel mit dem Kapellenbau sowie die Arkaden des Schlosshofes. An diese Baumaßnahmen erinnert eine rote Marmortafel über dem Torturm des Schlosses mit der Inschrift:
„Dises schlos gepeihat mit gott angefangen und ins werk gezogen der edl und gestreng her Carl von fraunberg des heiligen Römischen Reichs erbritter sambt seiner hausfrauen eufemia geporne von puechberg. anno 1560″. Diese Tafel enthält noch das Wappen derer von Fraunberg
Torturm mit Rosentor – Marmortafel mit Namen und Wappen des Carl von Fraunberg
Torturm mit Rosentor
Marmortafel am Torturm
Innenhof von Schloss Irlbach mit Elisabethbrunnen
