Năm 1928, Thực dân Pháp tiếp tục xây dựng Banh III. Tổng diện tích: 12.7002, lần lượt gọi các tên: Banh III. Lao 3, Trại Bác Ái, Trại 1, Trại Phú Thọ.
Thời thực dân Pháp gồm 3 dãy trại giam, trong đó có 2 dãy phòng giam tập thể và 1 dãy biệt lập, 1 khu nhà bếp và 1 khu bệnh xá. Sau Cách mạng tháng 8/1945 trại giam này được chỉnh trang lại còn 2 dãy (mỗi dãy có 4 phòng).
Thời Mỹ ngụy xây thêm 2 phòng 9 và phòng 10 phía sau Bệnh xá. Đặc biệt, phòng 10, Mỹ – ngụy dùng làm khu biệt lập để bổ sung cho khu Chuồng Cọp, nên được ngăn ra 15 phòng biệt giam nhỏ, trên trần không có song sắt như Chuồng Cọp, chỉ đan bằng kẽm gai chằng chịt. Người tù bị giam vào đây đã đặt cho nó cái tên rất dí dỏm: “Biệt lập Chuồng Gà”. Ngòai ra còn có các công trình phụ: Nhà ăn, nhà kho, nhà bếp, văn phòng giám thị và sân vườn…
Thực dân Pháp sử dụng Banh III để giam giữ, cách ly những tù nhân mới bị đưa ra Đảo trước khi chuyển qua các Banh khác, nhằm để ngăn chặn tin tức từ đất liền đưa ra, sợ ảnh hưởng đến tù nhân cũ. Sau đó, Bagne III trở thành nơi giam giữ tù chính trị mà địch liệt vào hạng “Thành phần nguy hiểm “, “Bất trị” bị kết án về tội phá hoại và âm mưu phá rối trị an, tù vượt ngục nhiều lần…cũng bị đưa ra đây.
Giai đoạn năm 1939 – 1945 là nơi dùng để giam giữ những người bị bắt trước và sau Cuộc khởi nghĩa Nam Kỳ (1940), trong đó có các đồng chí: Lê Duẩn, Lê Hồng Phong, Dương Bạch Mai…Các chuyến chuyển tù nhân từ Sơn La – Hỏa Lò bị đày ra đảo mùa hè 1944 cũng bị cấm cố ở đây, có nhiều đồng chí là lãnh đạo cấp ủy và xứ ủy Bắc Kỳ. Banh III là một trong những trại đày ải cầm cố khắc nghiệt, hàng ngàn tù chính trị bị đánh đập, đày ải đến chết trong thời kỳ thực dân Pháp khủng bố trắng sau khởi nghĩa Nam Kỳ.
Đồng chí Vũ Văn Hiếu người Bí thư đầu tiên Đặc khu mỏ Hòn Gai đã trút hơi thở cuối cùng trong phòng cấm cố. Phút lâm chung đồng chí đã trao tấm áo trên người mình khoác cho người bạn tù – đồng chí Lê Duẩn với lời trăn trối: “Ráng sống mà phục vụ cho cách mạng”. Liệt sỹ Vũ Văn Hiếu đã trở thành biểu tượng của người cộng sản: “Sống vì đảng – chết cũng không rời Đảng”, là nguồn cảm hứng cho nhà văn, nhà điêu khắc sáng tạo tượng đài trao áo qua tứ thơ: “Chết còn cởi áo cho nhau”.
Di tích trại Phú Thọ đã được, Bộ Văn Hóa – Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Đặc biệt Quốc gia.
