ଦ୍ୱାଦଶ ଶତାବ୍ଦୀରେ ପରମାର ରାଜବଂଶର ଗଡପତି ଶିବଙ୍କୁ ପରାସ୍ତ କରି ଏହି ଦୁର୍ଗକୁ କବଜା କରିନେଇଥିଲେ ପୃଥବୀରାଜ ଚୌହାନଙ୍କ ମୁଖ୍ୟ ସାମନ୍ତ ଖେତ ସିଂ ଖଙ୍ଗାର । ଆଉ ଗଡ଼ ଅକ୍ତିଆର କରିବା ପରେ ଖଙ୍ଗାର ରାଜବଂଶର ମୂଳଦୁଆ ପଡ଼ିଥିଲା । ଗରକୁନ୍ଦର ଦୁର୍ଗ ଏକ ହେକ୍ଟରରୁ ଅଧିକ ଜମିରେ ନିର୍ମିତ ହୋଇଛି ।