Banh III Phụ xây dựng năm 1940. Còn có các tên gọi Lao III phụ, Trại phụ Bác Ái, trại IV và cuối cùng đổi tên là trại Phú Tường. Tổng diện tích: 5.804m2, bao gồm: 8 phòng giam chia làm hai dãy, các công trình phụ như: nhà bếp, nhà kho, bệnh xá và sân vườn…

Banh III xây dựng cùng thời gian với Banh III phụ và trại 5 (từ 1940-1962) tạo thành một cụm bao quanh che giấu cho khu biệt lập “Chuồng cọp Pháp” Năm 1952, sử dụng giam lớp tù binh mới ra đảo. Chủ trương “tích cực tấn công địch” đã hình thành từ đây, chuẩn bị vũ trang cho toàn thể tù chính trị về tư tưởng tiến công cách mạng trong mọi họat động và đấu tranh, quán triệt sâu sắc quan điểm “Nhà tù là một mặt trận mà người tù là chiến sỹ, “Đấu tranh trong tù là một bộ phận của cuộc đấu tranh cách mạng, trong cuộc kháng chiến của dân tộc”

Một thời gian, nơi đây giam những người tù mắc bệnh truyền nhiễm. Năm 1959, ngụy quyền chuyển 1.500 tù chính trị câu lưu chống ly khai ở trại I về phân tán ở trại giam này cùng với Banh III và khu biệt lập Chuồng cọp.

Trại Phú Tường là nơi thực dân pháp và đế quốc mỹ đã giam cầm, đày ải bao thế hệ chiến sĩ các mạng, những người yêu nước Việt Nam, đồng thời là nơi thể hiện khí phác kiên cường đấu tranh của tập thể tù nhân bị giam giữ tại đây.

Di tích trại Phú Tường đã được, Bộ Văn Hóa – Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Đặc biệt Quốc gia.