Ngày xưa, ở trấn Kinh Bắc, có đôi vợ chồng nọ sinh được hai mụn con, đứa con trai tên là Tô Văn, con gái tên là Tô Thị. Mỗi khi đi làm đồng sẽ để hai anh em chơi với nhau. Một hôm, Tô Văn chơi ném đá trúng ngay vào giữa đầu em. Tô Thị ngã vật xuống đất, máu chảy ra lênh láng. Tô Văn thấy thế sợ quá, chạy một mạch ra đường, không còn dám ngoái cổ lại. May sao, một bà hàng xóm chạy sang lấy lá thuốc dấu rịt cho Tô Thị, cầm được máu. Đến khi người mẹ đi mò cua về thì cô con gái đã ngồi dậy được. Còn Tô Văn thì bỏ đi biệt tích. Người mẹ nhớ con, sinh ra buồn phiền, chẳng bao lâu ốm nặng rồi chết, bỏ lại Tô Thị một mình.
Sau này, hai vợ chồng người chủ hàng cơm nhận nuôi Tô Thị rồi mang nàng lên xứ Lạng mở hàng nem. Tô Thị thấm thoắt đã hai mươi tuổi, lớn lên xinh đẹp, hàng nem của nàng ngày càng nức tiếng. Tuy có nhiều mối manh, nhưng nàng chưa thuận nơi nào.
Một hôm, có một thanh niên tuổi ngoài hai mươi, vẻ người tuấn tú, mang thuốc Bắc về xứ Lạng bán và đem lòng thương Tô Thị. Hai người lấy nhau không bao lâu thì có được hai mụn con. Một hôm, người chồng về nhà, thấy vợ đang ngồi gội đầu ở ngoài hè. Chàng vừa bế con ngồi trên bậc cửa xem vợ gội đầu, vừa kể đôi câu chuyện vặt cho vợ nghe. Chợt thấy đầu vợ có cái sẹo to, chàng hỏi chuyện mới biết Tô Thị hoá ra là người em gái năm xưa của mình.
Lòng Tô Văn từ ngày ấy rối bời, cuối cùng chàng tìm cách xin đăng lính mãi chẳng về. Từ ngày chồng đi, Tô Thị chẳng thiết gì đến việc bán hàng. Ngày ngày nàng bế con lên chùa Tam Thanh cầu cho chồng đi được bình yên, chóng được trở về. Một hôm, nàng ôm con lên chùa Tam Thanh khấn thì mây đen kéo đến, gió rít từng cơn, mưa như trút nước, sấm chớp cả vùng trời. Nàng vẫn bế con đứng trơ trơ, đăm đăm nhìn về hướng chồng đi. Sáng hôm sau, mưa tạnh, gió yên, mặt trời tỏa ánh sáng xuống núi rừng. Nàng Tô Thị bế con đã hóa đá tự bao giờ. Người dân trong vùng gọi đấy là hòn Vọng Phu.