Twierdza została zbudowana w 3000 roku p.n.e. Ionians, a następnie Marmaris nadal nazywano Fiskos. Według historyków to właśnie wraz z budową twierdzy na środku półwyspu na wzgórzu, skąd możliwy jest widok na zatokę, rozpoczął się rozwój starożytnego miasta Fiskos. Twierdza była często przebudowywana. Ostatnia przebudowa twierdzy została przeprowadzona w 1522 roku pod przewodnictwem sułtana Sulejmana Wspaniałego po jego udanej okupacji Rodos. Głównymi dekoracjami twierdzy była wieża, potężne blanki i armaty, które strzegły zatoki i miasta. Część armat przetrwała do dziś.
Próbując jak najlepiej odtworzyć dawną świetność twierdzy, w 1979 r. rozpoczęto prace konserwatorskie. Decyzją Ministerstwa Kultury twierdza została przekształcona w muzeum. Wewnętrzny dziedziniec został zamieniony na ogród, który ozdobiony jest jasnymi kwiatami i starożytnymi inskrypcjami z rzeźbami. Przy wejściu znajdują się fragmenty marmurowych płaskorzeźb. Większość z 7 galerii muzeum jest wykorzystywana jako sale wystawowe dla artystów i rzeźbiarzy w Turcji. Oprócz regularnych wystaw w muzeum-twierdzy często odbywają się imprezy kulturalne i artystyczne. Tutaj prowadzą lekcje historii regionu dla młodzieży szkolnej.