Hrad Kraví Hora se nacházel nad hlubokým skalnatým srázem a pravděpodobně byl přístupný ze západní strany přes padací most. Centrem hradu byla válcovitá věž, jejíž torzo zde naleznete dodnes. Patrné jsou zde také zbytky obvodových zdí, hradeb i propadlé sklepy.

Hrad bohužel nepřečkal loupeživé vřavy družin, působících ve 14. a 15. století na Moravě. Hrad Kraví Hora měl plnit vojenskou funkci a dlouhou dobu skutečně nájezdům odolával. Řádění trvalo až do husitských válek, které pravděpodobně zpečetily osud této památky.