Pałac nad brzegiem rzeki Mandovi jest najstarszym zabytkiem w Panaji.

Portugalczycy odbudowali pałac sułtana Bijapur, który pierwotnie był fortecą, ale w latach 1759-1918 był używany jako pałac wicekróla. Teraz znajduje się tam sekretariat i inne służby rządowe Goa.

Został zbudowany nad brzegiem rzeki w 1500 roku przez Yusufa Adila Shaha głównie w celach rekreacyjnych, ale został ufortyfikowany, a później wykorzystany jako strategiczny posterunek do ochrony Portugalczyków, którzy dołączyli go do swoich twierdz artyleryjskich, a także jako pierwszy posterunek celny, gdzie ładunek ze statków zagranicznych.

W 1759 roku pałac był oficjalną rezydencją większości portugalskich wicekrólów, którzy przebywali tu przed wejściem na pokład statku w drodze powrotnej do Portugalii. Mała kaplica została zbudowana wewnątrz pałacu w 1760 roku, kiedy wicekról przeniósł się do Panaji ze Starego Goa.
Po 1918 r. w pałacu znajdowały się przede wszystkim urzędy rządowe, w tym urzędy Kapitana Portowego i Ministra Sprawiedliwości. Pałac stał się powszechnie znany jako sekretariat od czasu uzyskania przez Goa niepodległości i służył jako Związek Terytorialny Goa, Damana i Diu, obecnie znany jako Prowincja Goa. Jest siedzibą administracyjną Wojewódzkiego Zgromadzenia Ustawodawczego.