Nad rzeką Węgorapą powstał w około roku 1398 krzyżacki zamek. Pięcioboczna budowla z wewnętrznym dziedzińcem i wieżą w narożniku północno wschodnim była siedzibą administratora zakonnego do roku 1469. W roku następnym przeszedł w ręce prywatne. W XVIII wieku przebudowano węgorzewski zamek na barokową rezydencję, ale w XIX wieku posłużył on już tylko jako więzienie.