Hòn Bà nằm kế hòn lớn Côn Đảo, cách nhau một doi nước hẹp, gọi là Họng Đầm, tạo hợp với hòn Côn Đảo thành vịnh Bến Đầm, nước sâu, kín gió, có thể xây dựngthành hải cảng rất tốt. Hòn Bà có diện tích hơn 5 km³, trên đỉnh có một tảng đá dựng, tựa hình vọng phu có người nói rằng, vì thế mà có tên Hòn Bà.
Một cách giải thích khác cho rằng, Hòn Bà do chữ Bến Đầm, Họng Đầm (tiếng Pháp: dame là bà, phụ nữ) mà ra.
Những người dân Côn Đảo lại có cách giải thích riêng, gắn với truyển thuyết về Bà. Theo truyền thuyết Bà là thứ phi của Nguyễn Ánh, tên tục là Nguyễn Thị Răm, được tôn là Phi Yến. Biết Nguyễn Ánh định gửi con Bà là hoàng từ Cải làm con tin để cầu viện binh Pháp, chống quân Tây Sơn, Bà đã lựa lời khuyên:
– Việc chúa công đánh nhau với Tây Sơn nên mộ binh trong xứ. Nếu nhờ ngoại viện, có thắng cũng chẳng vẻ vang gì, mà thiếp e có nhiều chuyện rắc rồi về sau. Nỗi giận vì trái ý, Nguyễn Ánh ghép Bà vào tội thông đồng với Tây Sơn. Nhờ các cận thần can gián, Bà khỏi tội chém, nhưng bị giam vào hang núi trên hòn đảo nhỏ này mang tên Hòn Bà. Vừa lúc quân Tây Sơn đuổi tới nơi, Nguyễn Ánh cùng đám cận thần lên thuyển chạy. Hoàng tử Cải không thấy mẹ, khóc lóc thảm thiết. Nguyễn Ánh dứt tình, cho rằng hoàng tử đồng lòng phản trắc với mẹ nên sai quẳng cậu bé vô tội xuống biển. Xác cậu trôi dạt vào Cỏ Ống, được dân làng an táng và lập miếu thờ Cậu. Dân làng Cỏ Ống cho người sang Hòn Bà đón Bà Phi Yến về phụng dưỡng.
Xem thêm: Chuyện về Hòn Bà và miếu Cậu ở Côn Đảo
