Het Kasteelplein was nauw verbonden met het Kasteel van Breda, het vroegere stamslot van de Nassaus waar nu de Koninklijke Militaire Academie huist.  Gevechten rond het kasteel speelden zich vaak hier af. In de tijd van Alva was het Kasteelplein een executieplaats. Protestanten die berecht waren door de Inquisitie (de Bloedraad), vonden hier de marteldood en werden in het openbaar verbrand.

Blokhuis
Rechts van de Stadhouderspoort van het kasteel,  zie je het zgn. Blokhuis, waar Willem van Oranje woonde. Op de plaats van de vensters, links en rechts van de poort, waren in de zestiende en zeventiende eeuw sierlijke open galerijen.

Koningin Wilhelminapaviljoen
Het bruingrijze vierkante gebouw op de hoek van de Cingelstraat werd in 1867 als HBS gebouwd en in 2008 grondig gerestaureerd. Sindsdien heet het Koningin Wilhelminapaviljoen. Er huist nu een permanente expositie over de historie van het kasteel en zijn bewoners door de eeuwen heen. Het maakt deel uit van het KMA gebouwencomplex en is op dinsdag voor publiek geopend.

Justinus van Nassau
Het gebouw 'Justinus van Nassau' op de andere hoek van het Kasteelplein en de Cingelstraat dateert uit de zeventiende eeuw. Het heeft allerlei functies gehad. Koning Lodewijk Napoleon logeerde er, het was rechtbank, ambtswoning van de gouverneur van de KMA en het deed jaren dienst als Volkenkundig Museum.

Stadhouder Willem III
Hoog op zijn sokkel, staat op het Kasteelplein ook het standbeeld van Stadhouder Willem III.