Trong những ngày đầu, cơ sở vật chất trên đảo rất thiếu thốn, thực dân Pháp tiến hành khai thác triệt để sức lao động của tù nhân. Lò Vôi do thực dân Pháp xây dựng từ năm 1864, đây cũng là chứng tích điển hình về chính sách bóc lột sức lao động, cùng với chế độ hà khắc nhằm dập tắt ý chí của những người yêu nước chống thực dân Pháp lúc bấy giờ.
Giai đọan 1920-1921, được chỉnh trang mở rộng thêm. Lò Vôi chuyên nung san hô cung cấp cho toàn đảo, ở đây có 4-5 kíp tù trông coi việc đốt lò chủ yếu, lao động khổ sai ở đây chia làm hai kíp: Một kíp thường xuyên bám biển lặn san hô, mỗi tháng phải có 4 sà lan san hô, một kíp 12 người chuyên đưa san hô vào đốt lò nung thành vôi xây dựng nhà cửa, cầu đường.
Có hai mùa lấy san hô, tùy theo nước thủy triều lên xuống. Thường vào khỏang 1-2 giờ hoặc vào buổi tối lúc 11-12 giờ. Hàng tháng bắt đầu từ ngày 24, một kíp tù khỏang 80 người được phân công đi làm công việc cực nhọc này, nếu làm ban đêm còn phải mang thêm 70 bó đuốc làm bằng vỏ chai. Lấy san hô cách bờ từ 2-33km và thả neo những chỗ đã định. Theo lệnh của Mã tà nhóm tù phải lập tức nhảy xuống nước lạnh, sâu tới tận cổ dưới ánh sáng yếu ớt của 3-4 ngọn đuốc, phải luồng vào những cái hố sâu từ 0,06m đến 1,20m để lấy san hô. Người tù bị gãy tay gãy chân là chuyện hàng ngày, thậm chí còn vỡ sọ.
“Sức cạn oan sâu ghê quá biển….”
Di tích Sở Lò Vôi là một bản cáo trạng về chính sách khai thác sức lao động của tù nhân. Ngày đi làm khổ sai tối về nhốt xàlim trong cái đói rét, lạnh lẽo, cơm không đủ ăn, áo không đủ mặc. Bước sang giai đọan đế quốc Mỹ, nhà giam này thành nơi đóng quân và xây thêm một căn nhà phụ tại khu vực này.
Di tích Sở Lò vôi đã được, Bộ Văn Hóa – Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Đặc biệt Quốc gia.
