Hrad založil rytíř Siegfried Orfanus Waise na počátku 14. století. Waisové (v překladu Sirotci), jejichž rodové jméno stojí i v názvu hradu, byli větví švábského rodu Wehingenů, která sídlila na tvrzi v nedalekém Nejdku. Smrtí Siegfrieda roku 1305 rod Waisů vymřel a hrad se tudíž stal královským majetkem a spolu s nedalekými Děvičkami, patřil ke královským pohraničním pevnostem.
    Tenkrát prý měl rakouský vévoda Fridrich spory s králem Václavem I. a tak, když si kasteláni obou pohraničních hradů společné vyjeli na lov, Fridrich je zajal a mučením se je snažil přinutit, aby rozkázali posádce vydat hrady do jeho rukou. Stateční rytíři však odolávali, i když Fridrich jednomu z nich oko vyloupl a druhého dal za krutého mrazu k železné radlici připoutat. Ani pod hrozbou smrti nezradili. Obměkčil se tedy Fridrich a oba kastelány propustil. Král Václav I. se jim za jejich věrnost bohatě odměnil.
    V neklidné době po zavraždění Václava III. v Olomouci (1306) jej získali Lichtenštejnové, kdy byl hrad připojen k jejich mikulovskému panství. V držení Lichtenštejnů zůstal Sirotčí hrad až do roku 1575, kdy přešel do vlastnictví Ditrichštejnů. To již byl ale zřejmě opuštěn - mikulovský urbář z roku 1560 jej nevzpomíná a roku 1590 se výslovně uvádí jako pustý.
  Na jižním útesu stávala hlavní bloková palácová stavba téměř trojúhelníkového půdorysu. Palác se směrem k západu zužoval a byl ukončen zaoblenou věží. Hradní objekty, které stávaly na severní skále, byly ještě nepřístupnější. Jejich přesnou podobu nelze za současného stavu přesně rekonstruovat, protože z nich zůstaly pouze zbytky základů.