Hầm xay lúa nằm bên trong Trại Phú Hải – là trại giam cổ nhất, được Pháp lập từ năm 1862 và xây dựng kiên cố từ năm 1889 đến năm 1896 thì hoàn chỉnh. Trại rộng hơn 12.000m² với 10 phòng giam tập thể, trong đó có 1 phòng tử hình, 20 hầm đá biệt giam, 2 hầm xay lúa đồng thời là phòng trừng giới và 1 khu đập đá.
Bọn Chúa ngục Côn Đảo gọi Hầm xay lúa là khu “Trừng giới”, bởi vì trong Hầm xay lúa, ngoài việc bị bắt lao động khổ sai, phải xay lúa bằng chiếc cối xay to được làm bằng chiếc thùng tô-nô đựng rượu vang, người tù còn phải chịu nhiều cực hình thân xác, những tù nhân nào bị đưa vào đây thì chỉ đôi ba tháng là kiệt sức, toét mắt và mang bệnh lao phổi. Bởi vậy, Hầm xay lúa còn được mệnh danh là “nhà tù trong nhà tù, địa ngục trong địa ngục”. Ngoài ra, trong Hầm xay lúa còn có nạn áp bức của “cặp rằng”. Đó là những tay dao búa, lưu manh được cai ngục giao cho điều hành công việc trong tù, nhưng chủ yếu là hành hạ tù nhân “dùng tù trị tù”.
Cưỡng bức khổ sai ở hầm xay lúa là hình thức cuối cùng trong danh mục các biện pháp trấn áp ghi trong quy chế nhà tù Côn Đảo. Hầm tối om với 5 cối xay làm bằng vỏ thùng tôn cũ, trong nện đất sét. Phải 6 người tù mới quay nổi cái cối và dưới chân còn mang một quả tạ. Cứ hai người xiềng làm một, tù nhân phải làm quần quật từ 6h sáng đến 5h chiều dưới đòn roi liên tục của các cặp rằng quất vào lưng trần mỗi khi chậm trễ.
Khu đập đá khổ sai, nơi chí sĩ yêu nước Phan Chu Trinh cảm tác nên bài “Đập đá Côn Lôn”: Làm trai đứng giữa đất Côn Lôn/Lừng lẫy làm cho lở núi non…/Những kẻ vá trời khi lỡ bước/Gian nan chi kể sự con con.
Nếu khu đập đá khổ sai in khí phách hiên ngang giữa gông cùm lao tù thì hầm xay lúa rạng danh tên tuổi người chiến sĩ cách mạng kiên trung – Tôn Đức Thắng. Để đày đọa người tù, thực dân Pháp bắt lao động khổ sai trong hầm xay lúa nhưng hầm được xây kín. Đa phần tù nhân lao động trong hầm đều chết vì các bệnh liên quan đến đường hô hấp hoặc bị đánh đập do không hoàn thành phần việc. Biết đồng chí Tôn Đức Thắng là một thợ sửa máy lành nghề, chúng đưa đến làm việc tại Sở Lưới chuyên sửa canô. Năm 1945, chiếc canô do bác Tôn sửa mang tên Giải Phóng được chính Bác cầm lái đưa một số đồng chí trong Ban lãnh đạo cách mạng trở về đất liền.
