Mały zamek Saint Carlos od pięciu wieków chroni port Palma. W 1600 roku król Hiszpanii Filip III nakazał go zbudować w celu ochrony szlaków morskich. Budowę, której finansowanie podzielono między budżet monarchii a kolegium handlowe, rozpoczęto w 1610 roku, a zakończono w 1612 roku. Początkowo fort nosił nazwę zamku Porto Pi, ale wkrótce otrzymał obecną nazwę na cześć wicekróla Majorki Carlosa Colomy. W latach 1662-63 zamek na planie prostokąta, mieszczący wówczas zaledwie 5-6 dział, został rozbudowany przy udziale inżyniera Vicente Muta. Ponadto w czasie wojny o sukcesję hiszpańską został dodatkowo ufortyfikowany od strony morza. Pod koniec XIX wieku zamek wyremontowano, wyposażono technicznie, przekopano tamę po stronie zachodniej.

Zamek jest dobrze zachowany, nocą jest oświetlony. W czasie wojny domowej fort służył jako więzienie dla więźniów politycznych. Obecnie mieści się w nim baza morska Porto Pi, a także Muzeum Historii Wojskowej miasta, które posiada dużą kolekcję broni, map, mundurów, dokumentów archiwalnych. Zamek jest narodowym skarbem Hiszpanii.