Muzeum Historii Wojskowej w Budapeszcie zajmuje północno-zachodni róg Dzielnicy Zamkowej (Buda). Budynek zachował swój pierwotny klasycystyczny profil od strony placu Kapistrana, na który znajduje się pomnik św. Jana Kapistrana, franciszkańskiego kaznodziei i żołnierza, który prowadził krucjatę przeciw imperium Osmańskiemu w 1456 r.
Fundamenty zachodniego skrzydła Muzeum zostały zbudowane na średniowiecznych murach z czasów króla Beli IV. W 1696 r. znajdowały się tu dwa nowe koszary, kilkakrotnie przebudowywane. Rozbiórka starych koszar i budowa nowych, większych zostały nakazane w 1843 roku. Budowa rozpoczęła się w 1844 roku i została ukończona w 1847 roku. Skrzydło oficerskie (późniejsza część południowa, zwrócona w stronę placu Kapisztrán) było całkowicie oddzielone od skrzydła innych szeregów. Konkurs na budowę nowych koszar wygrał József Dankó Jr., architekt z Budy. Budowę prowadzono pod nadzorem majora (inż.) Josefa Glaesera, który jako dowódca Dyrekcji Fortyfikacji Budy odegrał kluczową rolę w tworzeniu i modyfikowaniu planów. Podczas oblężenia Budy w 1849 roku budynek został trafiony licznymi kulami armatnimi.
Modyfikacje skrzydła zachodniego rozpoczęły się w 1926 roku na potrzeby Muzeum Historii Wojskowej. Centralna, wystająca część zachodniej fasady otrzymała charakterystyczną, dwupiętrową architekturę, wraz z bramą w stylu toskańskim przy wejściu. Przebudowane zachodnie skrzydło, dawne skrzydło innych rang, zostało przekazane Muzeum w 1929 r., podczas gdy skrzydło zwrócone w stronę placu pozostało koszarami. Pierwsza wystawa muzealna w nowym budynku została otwarta 29 maja 1937 r. Podczas II wojny światowej, między grudniem 1944 r. a lutym 1945 r., budynek uległ 80-procentowemu uszkodzeniu z powodu trafień bombami, pociskami artyleryjskimi i pociskami moździerzowymi. Prace rekonstrukcyjne rozpoczęły się w 1947 r.. Po odbudowie cały kompleks budynków został przekazany późniejszemu Instytutowi i Muzeum Historii Wojskowej.