Tọa lạc tại phường 4, Tp.Cà Mau, được xây dựng vào năm 1840. Đây là một công trình kiến trúc tôn giáo truyền thống và là nơi truyền Phật pháp sớm nhất ở vùng đất Cà Mau. Cái tên Phật Tổ là bắt nguồn từ sự tôn kính từ lâu đời của người dân vùng Cà Mau với vị Hòa thượng lập dựng chùa: Hòa thượng Thích Trí Tâm.
Cửa chùa mở theo hình bán nguyệt dẫn vào Chính điện. Chính điện chùa có hai hàng cột xi măng, mỗi bên 3 cây, tạo không gian rộng. Ngôi Tam bảo thờ nhiều tượng Phật. Nét đặc sắc trong đường nét kiến trúc ở ngôi Tam bảo là dùng đồ sứ ốp vào các họa tiết làm bằng xi măng tạo thành một án thờ.
Mái chùa hình quả ấn, lợp ngói máng, kiến trúc sắc nét, mô phỏng mái đình ở vùng đồng bằng sông Cửu Long. Mái được chia thành phần nóc chính và mái nghi môn. Phần nóc chính thể hiện giá trị nghệ thuật đặc sắc của ngôi cổ tự với hình lưỡng long tranh châu cách điệu, bên dưới là phù điêu, hình ảnh mô tả cảnh thiên nhiên. Mặt chính trên nóc chùa đề 6 chữ: “Sắc Tứ Quan Âm cổ tự”.
Những đường cong ở đầu đao mái chùa thể hiện cảnh cá hóa rồng làm bằng xi măng ốp sứ cách điệu, dáng vẻ độc đáo. Mái nghi môn ở tầng thấp hơn lợp ngói máng, có họa tiết sống động và đề 4 chữ: “Quan Âm Cổ tự”. Bên trên cửa ra vào có hoa văn hình chữ Thọ trang trí mặt tiền Chính điện. Hai mặt ngoài vách Chính điện có những hình vẽ tôn thêm vẻ cổ kính.
Từ ngoài nhìn vào, khuôn viên chùa khá rộng, không gian hài hòa. Tượng Quan Âm lớn hơn người thật đứng trên tòa sen, nhìn về Rạch Chùa. Tượng bằng xi măng sơn màu xanh, nét mặt hiền hòa, cân đối.
Án thờ Tổ sư Hòa thượng Thích Trí Tâm được đặt trong đài bằng xi măng cao 1,47m, rộng 1,52m. Hai bên tượng có hai câu đối, tạm dịnh là:
“Một chữ dọc ngang có khả năng làm tĩnh thiên hạ
Giữ cho chúng tăng được bình yên mãi mãi trong công cuộc tu hành”
Bên dưới bệ thờ Hòa thượng Thích Trí Tâm có bia đá được dựng lúc trùng tu chùa năm 1937, trên đó có bản khắc bằng chữ Hán ghi nguyên văn sắc phong của vua Thiệu Trị dành cho chùa. Tại án thờ hiện còn đôi câu đối cổ bằng thân cây dừa dài hơn 4m, nét chữ sơn son thếp vàng, lời văn đặc sắc.
Ngoài ra, chùa Phật Tổ còn lưu giữ nhiều tượng gỗ cổ và các hiện vật: khánh gỗ, độc bình, chuông đồng, câu đối, sắc phong…
Chùa Phật Tổ là một công trình kiến trúc tôn giáo có giá trị nghệ thuật cao. Đợt trùng tu chùa năm 1937 vẫn giữ nguyên nét kiến trúc xưa cho đến nay. Ngày nay, chùa Phật Tổ là một trong những là trung tâm văn hóa, tu học, tâm linh của tăng ni, phật tử tỉnh Cà Mau, là trung tâm văn hóa tâm linh của người dân.