Каменный замок Пылтсамаа был построен на берегу реки еще в 1272 году. Позднее, в 1570-1578 годы, замок являлся резиденцией короля Ливонии Магнуса. В XVIII веке Вольдемар Иоганн фон Лаув перестроил неоднократно разоренную крепость в величественный дворец в стиле рококо. Замок и церковь сгорели в 1941 году, и только церковь была восстановлена в 1952 г., а замок стоял в развалинах, ожидая своего часа.
Летом 2023 году комплекс вновь открыл свои двери для посетителей, которые могут увидеть башню, здание конвента и надвратное здание замка, где расположилась знакомящая с историей замка богатая экспозиция. Те, кто купил билет, может подняться на башню замка, со смотровой платформы которой открывается прекрасная панорама города. Во дворе замка работают мастерские рукоделия и ресторан.