Cùng với sự gia tăng quy mô của cuộc chiến tranh xâm lược, nhà tù Côn Đảo cũng được mở rộng. Phái đoàn quân sự Hoa Kỳ sau nhiều đợt khảo sát (1967- 1968) đã đề nghị chính Phủ mỹ sử dụng ngân sách: “Chương trình viên trợ quân sự và kinh tế của Mỹ ở Việt Nam” để xây dựng trại giam kiểu mẫu ở Côn Đảo. Hãng thầu RMK- BRJ là một trong những hãng thầu nổi tiếng của Mỹ đã trúng thầu và gấp rút xây dựng một hệ thống trại giam gồm: Trại VI, Trại VII, Trại VIII (khởi công xây dựng cùng một lúc năm 1968), Riêng Trại IX đang xây dựng dang dở thì hiệp định Paris ký kết nên bỏ dở.

Khác với trại giam do thực dân Pháp xây dựng, các công trình phụ như nhà bếp, bệnh xá, kho lương thực, thực phẩm thì được bố trí trước cổng trại, còn các phòng giam thì ẩn sâu bên trong.

Trại 6 sau này được gọi là trại Phú An gồm 20 phòng giam, chia làm 02 khu: A và B, mỗi khu có 10 phòng được bố trí thành hai dãy đối diện nhau và có một khu biệt lập gồm 4 xà lim. Tổng diện tích 42.140m2

Đầu năm 1970. Khu A (từ phòng 1đến phòng 10) giam giữ những người tù chưa thành án (Câu lưu, hồi cứu), bị bắt sau tết Mậu Thân năm 1968 .

Tháng 8/1970, Mỹ ngụy đã thành lập Tiểu đoàn tâm lý chiến thí điểm Côn Sơn tại đây.

Khu B, lúc đầu là nơi giam giữ những người tù chính trị chống đối, được Tiểu đoàn tâm lý chiến khóa I thanh lọc. Đây là tập thể chiến đấu kiên cường được sàn lọc từ hàng trăm đợt đấu tranh chống tố cộng, chóng ly khai Đảng cộng sản từ thời Mỹ Diệm.

Năm 1972, sau khi Tiểu đoàn tâm lý chiến thất bại, địch đã đổi cách đọc ngược lại là từ phòng 11 đến phòng 20 gọi là khu A, từ phòng 01 đến phòng 10 là khu B.

Đảng bộ mang tên người chiến sỹ Lưu Chí Hiếu đã được thành lập vào ngày 3/02/1972. Bí thư là đông chí Trần Văn Cao(Tư Cao) với tinh thần đòan kết và chiến đấu cao, tù chính trị câu lưu ở rại 6 khu B đã tổ chức nhiều cuộc đấu tranh tiêu biểu. Trong đó có đợt tuyệt thực 19 ngày (10/1972). Cuộc đấu tranh chống lăn tay chụp hình, tráo án tù chính trị thành “gian nhân hiệp đảng” (5/1973) và đây cũng là nơi ra đời Tập san Sinh Hoạt và Xây Dựng.

Cuối năm 1974, nắm được tinh thần Hiệp dịnh Paris, Đảng ủy, Đảng bộ Lưu Chí Hiếu đã thành lập Ban quân sự, Ban an ninh để chuẩn bị đón thời cơ tự giải phóng.

Di tích trại Phú An đã được, Bộ Văn Hóa – Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Đặc biệt Quốc gia.