Theo tài liệu cũ, chùa Bầu - ngôi chùa đã có trên 1000 năm tuổi nằm trong quần thể làng Bầu, xã Châu Cầu xưa, nay là phường Hai Bà Trưng, TP. Phủ Lý nên tên Nôm của chùa là Chùa Bầu. Từ "Bầu" tiếng Hán là Biều, có nghĩa là phần nhô ra nên có thể hiểu ở đây chỉ mảnh đất bồi nhô ra vùng nước. Tương truyền trong quá trình lập làng sinh sống tại mảnh đất này, người dân đã lập nơi thờ tự để thờ Thủy Tinh phu nhân (thần nước), cầu mong cuộc sống yên ổn. Hiện nay trong chùa vẫn còn lưu giữ các đạo sắc phong phong cho Thủy Tinh phu nhân.
Chùa Bầu quay mặt ra hồ chùa Bầu - một trong những hồ tự nhiên lớn có thể có mạch ngầm thông ra sông Đáy nên nước trong hồ không bao giờ cạn. Người dân khu vực quanh hồ còn kể rằng, trong lòng hồ có hang Nhệch, là nơi sống của cá thần. Thời thực dân Pháp chiếm đóng Phủ Lý, chúng đóng quân ngay trong chùa, mấy tên lính Pháp nghe chuyện liền bơi thuyền ra hồ săn cá thần nhưng đã bị cột nước nhấn chìm. Vì vậy, chùa Bầu và hồ chùa Bầu luôn được bao phủ bởi vẻ linh thiêng, huyền bí.
Về sự ra đời của chùa Bầu, có cụ già kể rằng xưa kia có ông quan đến chùa Bến ở Văn Lâm (Kim Bảng) cầu con trai, sau khi toại nguyện đã xin chân nhang ở đó về xây dựng chùa Bầu. Tuy nhiên, theo Thần phả của làng Bầu thì Thiền sư Viên Chiếu là người có công xây dựng ngôi chùa này. Như vậy có thể nói chùa Bầu trở thành nơi thờ tự Phật giáo chính thống từ khoảng đầu thế kỷ XI.
Năm 2006 chùa Bầu đã được xây dựng lại trên diện tích hơn 4000 m2 của chùa cũ và đến năm 2010 thì khánh thành ngôi chùa với lối kiến trúc cổ truyền của dân tộc kết hợp với kiến trúc mới như chúng ta đang tham quan đây. Chùa Bầu được xây hai tầng, tầng một được dùng để làm nhà khách, là nơi sinh hoạt cho các nhà sư và các phật tử, tầng 2 là nơi thờ tự. Chùa gồm có tiền đường thờ Quan Âm Chuẩn Đề và Đức Địa Tạng (Địa Tạng Vương Bồ Tát), chính điện (hậu cung) theo trật tự từ trên xuống, nơi cao nhất là 3 pho Tam Thế; hàng thứ 2 là một pho tượng A Di Đà - đây là pho tượng lớn nhất ở phật điện; hàng thứ 3: Thích Ca Mâu Ni ngồi ở giữa A nan đà và Ca diếp ở 2 bên; hàng là tòa Cửu Long (tượng Thích Ca sơ sinh). Bên ngoài Phật điện có 2 gian 2 bên thờ Đức Ông và Đức Thánh Hiền. Đằng sau là nhà Tổ và cũng là nơi thờ Mẫu (Pháp Vân) do chùa chưa có điều kiện xây nhà thờ Mẫu riêng.
Hiện nay, Chùa Bầu vẫn lưu giữ nhiều hiện vật quý giá từ triều Vĩnh Thịnh năm thứ 6 (1710) như: 23 đạo sắc phong về Đức Pháp Vân Phật và Thủy Tinh phu nhân, đạo sắc phong cuối cùng vào năm thứ 9 vua Khải Định (1924), (5 đạo đã bị thất lạc); một quả chuông với kích thước 0,95m, đường kính 0,57m được đúc vào mùa xuân năm thứ 3 Hoàng triều Minh Mệnh (1822).
Có nhiều sự tích về Ngài, nhưng hai ấn bản về thân thế được lưu truyền nhất về Ngài phải kể đến là Đức Địa Tạng sinh ra trong một gia đình vốn thuộc dòng dõi Bà-La-Môn, tên là Kolita Moggallàna hay còn gọi là Mục Kiền Liên. Ngài là người có đức, có tâm nhưng bà Thanh Đề mẹ Ngài lại mang nhiều sát nghiệp.
Bà Thanh Đề chết đi, bị đày xuống Vô gián địa ngục, phải chịu sự trừng phạt đau đớn, không thể siêu thoát. Mục Kiền Liên thương mẹ, thiền định niệm Phật trước linh cữu bà nhiều ngày, Đức Phật cảm động nói với Ngài vào ngày rằm tháng Bảy, hãy cùng chư tăng tổ chức một buổi lễ để cầu nguyện và hộ niệm cho cửu huyền thất tổ và mẹ Ngài. Mục Kiều Liên làm theo cuối cùng bà Thanh Đề cũng được giải thoát.
Về sau Ngài cùng người bạn từ thuở niên thiếu Upatissa, Xá Lợi Phất, được Đức Phật Thích Ca Mâu Ni thu nhận làm đệ tử. (Trích trong quyển Thập Đại Đệ Tử).
Đây cũng chính là điển tích nói về lễ Vu Lan (Xá tội vong nhân) vào ngày 15/7 âm lịch hàng năm, là ngày những người con nhớ ơn công lao sinh dưỡng và tình yêu thương của mẹ.
Biết được có nhiều người cũng sa chân vào chốn lầm than, Ngài đã đến trước Đức Phật nói rằng Ngài nguyện xuống địa ngục, cứu vớt chúng sinh. Bao giờ địa ngục hết chúng sinh lầm than mới xin thành Phật.
Địa Tạng Vương là vị Bồ Tát cứu độ chúng sinh dưới địa ngục và bảo vệ trẻ em. Nhiều người tin rằng những đứa trẻ yểu mạng, vì thương nhớ cha mẹ và người thân nên quanh quẩn bên sông, không chịu qua cầu Nại Hà đi đầu thai. Lúc này Đức Địa Tạng sẽ xuất hiện, an ủi, giảng giải và giúp đỡ chúng tạo công đức qua sông.
