První zmínka o tvrzi Žerotice pochází z roku 1259. Žerotice byly v různých historických pramenech střídavě nazývány tvrzí či hradem, od 14. století poté převládlo označení hrad - díky přestavbě a rozšíření stavby, kterou měl na svědomí Beneš z Veitmile.

Hrad Žerotice se dočkal také renesanční přestavby v roce 1512, a tak se z hradu nakonec stal zámek. Pouhé století poté ovšem přichází třicetiletá válka a postup Švédů se dostává i na žerotický hradozámek. Žerotice bohužel vojenské tažení neustály, byly dobyty a vypáleny.

Z hradu zůstala jen zřícenina, ponechaná svému osudu. Některé části hradu byly ještě v roce 1938 zbourány za účelem stavby silnice do nedalekých Želetic. Od roku 1998 probíhá postupná rekonstrukce zříceniny Žerotice.