Nằm trong khuôn viên tòa Tổng Giám Mục (đường Nguyễn Đình Chiểu, quận 3, TP HCM) có ngôi nhà cổ nằm khuất trong nhiều khu cao tầng bên cạnh. Căn nhà này do chúa Nguyễn Ánh cất riêng cho Giám mục Bá Ða Lộc (người xưa gọi là Cha Cả) ở để dạy Hoàng tử Nguyễn Phúc Cảnh ngay sau khi cả hai từ Pháp về năm 1789. Bá Đa Lộc quốc tịch Pháp, sinh năm 1741, tên là Pierre Pigneaux. Sau khi được sắc phong linh mục năm 1765, ông qua Việt Nam truyền giáo và phò tá Nguyễn Ánh đánh nhà Tây Sơn.
Ban đầu, ngôi nhà được dựng bên bờ kênh Thị Nghè, trong khuôn viên của Thảo Cầm Viên ngày nay. Sau khi Giám mục Bá Đa Lộc từ trần (1799), ngôi nhà được làm nơi trọ cho linh mục khác, có thời điểm tận dụng làm kho chứa quân cụ.
Năm 1864 người Pháp cho xây dựng Thảo Cầm Viên nên căn nhà được dời về đường Alexandre de Rhodes. Năm 1900 sau khi Toà Tổng Giám mục được xây, thì ngôi nhà lại được dời đến địa điểm này đến ngày nay.
Năm 1897, khi đề cập đến ngôi nhà gỗ lợp ngói đó, ông Trương Vĩnh Ký - người Việt được vinh danh là một trong 18 nhà thông thái thế giới - gọi là Dinh Tân Xá. Khi Tòa Tổng Giám Mục xây dựng xong năm 1911, thì căn nhà được sử dụng làm nhà nguyện.
Dinh Tân Xá được xem là căn nhà cổ nhất Sài Gòn với tuổi đời hơn 200 năm. Ngôi nhà được làm hoàn toàn bằng gỗ quý, khung nhà được liên kết chặt chẽ với nhau hoàn toàn bằng kỹ thuật ghép mộng của những nghệ nhân thời xưa. Hoàn toàn không dùng bất cứ cây đinh nào nhưng nhà nguyện vẫn đứng vững qua hàng trăm năm.
Mặt bằng ngôi nhà có dạng hình chữ "Nhất", tuy xây dựng phục vụ cho việc thờ phượng Công giáo nhưng nhà vẫn được quay về hướng Nam theo quan điểm dựng nhà truyền thống của người Việt.
Ngôi nhà được xây dựng theo lối kiến trúc truyền thống của Việt Nam với ba gian hai chái với diện tích 136 m2.
Chính diện gian giữa đặt án thờ cầu nguyện, hầu hết chi tiết bên trong đều được giữ nguyên bản để không làm mất vẻ đẹp sơ khai của ngôi nhà.
Nhiều vật dụng trong nhà như bàn, ghế, tủ, bình phong... vẫn được giữ nguyên vẹn và còn khá tốt.
Khung cửa và các cánh cửa làm bằng gỗ quý, đều chạm trổ tinh xảo các hoa lá rồng phượng như tạo thêm sức sống cho mặt tiền của căn nhà.
Mái được lợp ngói âm dương với những họa tiết hoa văn viền tinh xảo.
Mái trước bằng ngói tráng men xanh, có phù điêu hình hai con rồng chầu Thánh giá rất hiếm thấy. Về ý nghĩa của bức phù điêu trên, có nhà nghiên cứu cho rằng đó là sự kết hợp giữa hình tượng của tôn giáo phương Tây buổi đầu hội nhập với tín ngưỡng phương Đông.
Qua những lần di dời trước đó, phần nền đất làm cho cột trụ ngôi nhà bị hư hỏng. Những lần tu sửa sau, cột trụ ngôi nhà được đặt trên những tảng đá, nền nhà thì được nâng cao hơn.
Những chùm đèn có một số cái được thay mới vì đèn cũ đã hư hỏng, không thể sử dụng được nữa. Tương tự, phần mái ngói cũng thay mới một phần trong lần trùng tu gần nhất năm 2014. Dù vậy, căn nhà cổ nhất Sài Gòn vẫn giữ được nguyên vẹn mỹ thuật kiến trúc.
Ngày nay, ngôi nhà là nơi hành lễ của các tín đồ vào những ngày lễ nguyện. Vào chủ nhật hay các buổi sáng trong ngày, ngôi nhà mở cửa để hành lễ.
Quỳnh Trần