Vì thất bại liên tục nên ông có ý định đem hoàng tử Hội An (có tên tục là hoàng tử Cải) tháp tùng cùng linh mục Bá Đa Lộc sang Pháp làm con tin để cầu viện vua Louis thứ 16 của nước Pháp. Nhà Nguyễn hứa nhường cho Pháp chủ quyền cửa biển Đà Nẵng và quần đảo Côn Đảo. Đổi lại, Pháp giúp Nguyễn Ánh 4 tàu chiến, 1.200 quân, 200 lính pháo thủ, 250 lính người Phi (châu Phi) để Nguyễn Ánh đánh trả quân Tây Sơn. Bà Phi Yến biết được việc này không bằng lòng đưa con đi làm con tin mưu đồ bán nước cầu vinh của Nguyễn Ánh, bà ngỏ lời khuyên chúa Nguyễn rằng: “Việc đánh nhau với Tây Sơn là chuyện trong nhà, thiếp nghĩ chúa công không nên nhờ vả ngoại ban, nếu thắng được Tây Sơn thì chẳng vẻ vang gì mà còn lắm điều rối rắm về sau…”
Chỉ mấy lời khuyên can ấy mà Nguyễn Ánh nổi trận lôi đình nghi ngờ bà Phi Yến có ý thông đồng với quân Tây Sơn. Nếu không có các quan cận thần hết lời xin giảm án ắt bà không thoát khỏi tội chém đầu. Tuy nhiên, Nguyễn Ánh vẫn truyền lệnh giam cầm thứ phi ở một hang đá trên hòn đảo hoang vắng nằm về hướng tây Nam của quần đảo Côn Đảo (Hòn Bà ngày nay).
Vừa truyền lệnh giam cầm thứ phi Phi Yến, Nguyễn Ánh hay tin quân Tây Sơn sắp ra Côn Đảo, bèn cùng đoàn tùy tùng xuống thuyền chạy lánh nạn. Lúc bấy giờ đứa con duy nhất của Chúa Nguyễn và Phi Yến là Hoàng tử Hội An khóc đòi vua cha cho mẹ được đi theo, nếu không hoàng tử ở lại với mẹ. Nguyễn Ánh không bằng lòng, nói với các quan trong triều: Thằng nhãi con này rất có thể một lòng với mẹ phản lại ta. Ngay bây giờ nếu ta không trừ trước, biết đâu nó chẳng phải là một phản tặc loạn thần… Chính tay Nguyễn Ánh túm lấy Hoàng tử Cải ném xuống biển, ông nói: Ta cho phép mày đi theo mẹ mày! Truyền thuyết kể, lúc ấy con hắc hổ của hoàng từ Cải nuôi vội vàng lao theo, ý để cứu giúp hoàng tử. Nhưng không kịp rồi, xác hoàng tử từ từ chìm xuống biển, hắc hổ bơi luôn vào bờ. Ba ngày sau, xác hoàng tử trôi vào làng Cỏ Ống, con hắc hổ đứng sẵn đó, kéo xác hoàng tử lên bờ, dùng hai chân trước đào bới một hố sâu để chôn, lấp lại. Ngày nay tại làng này còn ngôi mộ và miếu thờ Hoàng tử Hội An (Thiếu Gia Miếu).Theo truyền thuyến dân gian kể lại, hắc hổ vào rừng kiếm ăn bất ngờ gặp con vượn bạch được hoàng tử nuôi cùng. Vượn bạch đưa hắc hổ về mở cửa hang đưa bà Phi Yến đến mộ Hoàng tử Cải. Chuyện truyền thuyết đã có hàng trăm năm nay, song trong dân gian vẫn lưu truyền lời ru:
“Gió đưa cây cải về trời Rau răm ở lại chịu lời đắng cay”…
Tháng 10 âl năm 1785, làng An Hải (nơi có An Sơn Miếu ngày nay) tổ chức lễ hội làm chay cúng tế trong làng. Họ rước bà Phi Yến đến cho thêm phần long trọng. Đêm đó, tại làng An Hải, bà đã bị tên Biện Thi (một tên đồ tể) lén vào cấm phòng của bà dở trò sàm sỡ, song Biện Thi chỉ vừa nắm được tay thì bà đã kịp tri hô cho dân làng bắt giam chờ xét xử. Cũng trong đêm ấy, bà đã liều mình tự tử để được vẹn toàn trinh tiết.
Số phận đã an bài cho bà thứ phi Phi Yến yên nghỉ tại làng An Hải, dân làng lo việc an táng và lập miếu thờ bà – người phụ nữ “trung trinh tiết liệt”. Hằng năm cứ đến ngày 18 tháng 10 âl, người dân Côn Đảo tổ chức lễ giỗ bà rất long trọng và thường là làm giỗ chay để tưởng nhớ bà.
