１６２８年にスペイン人がセントドミニカ砦を築き、オランダが淡水港を攻撃したがこれを撃退した。
１６３４年頃、２００人程度のスペイン人が住んでいたという。
スペイン人がフィリピンなどの混乱で撤退したあと、オランダ人が砦を再構築し、１６４６年にアントニー要塞として整備された。
１６６２年に鄭成功がオランダ勢力を追い落とし、淡水防衛のため紅毛城の修理を行っている。
１６８３年に清朝がこの地を支配するようになると紅毛城は一時放棄されたという。
数十年後に大規模な修復が行われたが、清の鎖国状態からやがて放置されてしまう。
１８５８年に天津条約で淡水が開港されることになるがこの条約は批准されず、１８６０年の北京条約で開港され、１８６７年に紅毛城一帯はイギリスが永久租借し、構内に領事館を建てた。
１８９６年に日本による台湾統治が始まると、１９１２年に日英政府間で租借協定が締結され領事館はその後も維持されていた。
１９４１年に大東亜戦争が始まると日本に接収され、戦後イギリスに返還されたが１９７２年に台英断交によりイギリス領事館は撤退した。その後紅毛城はオーストラリア大使館により代行管理が行われたが、台豪断交によりアメリカ大使館が管理を行い、米台断交後はアメリカの在台協会により１９８０年まで管理が継続されていた。同年６月３０日に台湾政府に返還され、１９８４年から一般公開されている。
国家一級古蹟に指定され、紅毛城とイギリス領事部に分けて管理されている。
但し、入場料を払って入場すれば両部間の仕切はなく自由に行き来出来る。