Sau khi thực dân Pháp bàn giao nhà tù Côn Đảo vào tháng 3/1955. Để mở rộng hệ thống nhà tù. Năm 1962 Mỹ ngụy đã cho xây dựng trại V, sau hiệp định Pari đổi tên là trại Phú Phong. Gồm 12 phòng giam chia làm ba dãy, mỗi dãy có 4 phòng và 1 nhà bếp,..với tổng diện tích 3.594m2,, mái lợp bằng fibroximăng, được che chắn phía trước khu Chuồng cọp Pháp. Năm 1965, địch giam một bộ phận tù binh và tù câu lưu dân sự mới bị đày ra Côn Đảo.

Trong những năm 1966-1968. Tại đây, tập thể nữ tù chính trị đã trở thành lực lượng trung kiên, sát cánh với tập thể tù chính trị câu lưu và tập thể tù án chính trị đấu tranh chống chào cờ.

Ngày 23/9/1966, ngụy quyền Sài gòn đày 36 phụ nữ chống đối từ các nhà lao đất liền ra Côn Đảo giam ở Trại V. Toàn bộ nữ tù tuyên bố chống chào cờ, chống nội quy, chịu chế độ khắc nghiệt. Cuối năm 1966 nữ tù đấu tranh tuyệt thực, đòi cải thiện đời sống, đòi đưa về đất liền. Nữ tù đấu tranh hình thức cao nhất là mổ bụng, Tháng 3/1968, buộc địch đưa số nữ tù về nhà lao Chí Hòa. Sau đó tháng 9/1968, chúng chuyển về nhà lao Thủ Đức.

Trại Phú Phong là nơi diển ra nhiều cuộc đàn áp của địch, đồng thời cũng là nơi biểu dương tinh thần đấu tranh kiên cường của tập thể nữ tù và tù nhân bị giam giữ tại đây.

Di tích trại Phú Phong đã được, Bộ Văn Hóa – Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Đặc biệt Quốc gia