Gần 10 năm sau khi chiếm đóng Nam Kỳ, khoảng 60 trường tiểu học được Pháp thành lập ở khu vực này với gần 1.400 học sinh. Nhiều con em người Việt tiếp tục theo học chương trình chữ Hán ở trường tư thục.
Nhận thấy giáo dục phát triển chậm, năm 1873 nhà cầm quyền tổ chức hội nghị tìm hiểu nguyên nhân giáo dục chữ quốc ngữ và Pháp ngữ không được hưởng ứng. Họ nhận ra người Việt còn chịu ảnh hưởng sâu rộng của Nho học, thiếu sách giáo khoa, chữ quốc ngữ hay chữ Pháp vẫn xa lạ với số đông công chúng.
Tiểu học ba năm, thầy đồ được thưởng tiền khi dạy thêm chữ quốc ngữ
Năm 1874, thống đốc Krantz quyết định chia nền giáo dục làm hai cấp, tiểu học và trung học. Thời gian tiểu học là ba năm với nội dung tập đọc và viết chữ quốc ngữ, chữ Nho và học tiếng Pháp; mẹo hay văn phạm sơ cấp; toán sơ cấp; hình học; khái niệm đo đạc và tổng quan về địa lý và lịch sử.
Cuối bậc tiểu học sẽ có một kỳ thi, gồm bài viết và vấn đáp, kết quả được đăng trên Gia Định báo. Học sinh điểm cao, nếu có đơn xin riêng và tùy theo ý kiến của hội đồng giám khảo sẽ được nhận vào học tiếp trung học bản xứ ở Sài Gòn.
Quy chế năm 1874 siết chặt việc mở trường tư thục, tăng cường kiểm soát trường làng. Pháp bãi bỏ trường dạy quốc ngữ ở các làng mà tập trung về trường ở Sài Gòn, Chợ Lớn, Vĩnh Long, Bến Tre, Sóc Trăng.
Thực tế, tại các trường của thầy đồ, học sinh vẫn học theo lối cũ. Pháp dù rất lo nhưng không thể can thiệp thô bạo vì ngại sự phản ứng của người dân. Họ tìm cách khuyến khích thầy đồ nào dạy thêm chữ quốc ngữ sẽ được thưởng 200 Francs. Cấp tiểu học khi đó chỉ còn vài tiết học chữ Nho, không còn tiết nào khác dành cho kiến thức hay phổ cập văn hóa dân tộc bản xứ.
Do đó, một phản ứng rất tự nhiên là người Việt không chịu theo học chương trình của chính quyền Pháp, nhiều làng phải thuê người nghèo đi học cho đủ sĩ số, mặc dù trên lý thuyết là giáo dục tự nguyện.
Hệ thống phổ thông mới chia làm ba cấp, cấp tiểu học sáu năm
Sau ba năm áp dụng chương trình giáo dục theo quy chế 1874, chính quyền Pháp nhận ra nhiều khuyết điểm. Đến năm 1879, thống soái Nam Kỳ khi đó là J.Lafont ban hành nghị định mới về giáo dục, giải thể các trường tiểu học và trung học, thay thế bằng trường cấp một năm năm (primier degré), cấp hai bốn năm (second degré) và cấp ba ba năm (troisième degré).
Muốn vào trường cấp một, học sinh phải trải qua kỳ thi tuyển tại nơi có trường này như Sài Gòn, Gia Định, Chợ Lớn, Mỹ Tho, Vĩnh Long, Sóc Trăng, Bà Rịa, Thủ Dầu Một, Hà Tiên, Châu Đốc…
Chương trình tiểu học mới thời lượng ba năm với lớp tiếng Pháp học các yếu tố về Pháp ngữ, số học (bốn phép tính và hệ thống đo đạc so sánh), tương quan giữa đong đo Pháp - Việt (đo đếm). Pháp còn mở lớp Hán văn và lớp quốc ngữ với thời lượng ít hơn so với lớp tiếng Pháp.
Pháp chọn học sinh vào cấp một không phải từ những em không biết chữ mà phải biết tiếng Hán tới một trình độ nào đó. Họ muốn lớp trẻ đã bắt đầu làm quen với văn hóa cổ truyền qua môn học chữ Hán sẽ vì quyền lợi hấp dẫn mà bước vào nền học vấn Pháp.
Trong lúc này, ở miền Bắc và Trung, một số cải tổ với mục đích giới thiệu và phát triển chương trình giáo dục cũng được Pháp tiến hành. Tháng 7/1886, Paul Bert ký nghị định thành lập Bắc Kỳ hàn lâm viện, trụ sở tại Hà Nội để lôi kéo các sĩ phu, nhân sĩ vào hội nhằm truyền bá tư tưởng, học thuật Pháp tại miền Bắc.
Tiếp đó, Paul Bert cho thành lập một trường hoàng gia dành riêng cho việc giảng dạy tiếng Pháp cho con em tôn thất và quan lại Huế. Lúc này, ở Hà Nội chỉ có một trường tiểu học nhưng một năm sau đó, đã có hệ thống trường Pháp - Việt gồm chín trường tiểu học cho nam sinh, bốn trường tiểu học cho nữ sinh.
Năm 1900, Hà Nội có 15 trường tiểu học; Hải Phòng năm trường; Nam Định bốn trường; Thanh Hóa, Vinh, Huế, mỗi nơi có hai trường; Hội An và Nha Trang mỗi nơi một trường.
Tỷ lệ học sinh bỏ học rất cao
Năm 1917, chương trình học chính Pháp - Việt được thiết lập trên toàn cõi Đông Dương nhằm xóa bỏ nền giáo dục cũ và thống nhất giáo dục bản xứ. Một chỉ dụ của vua nhà Nguyễn hồi bấy giờ đã bãi bỏ hoàn toàn trường chữ Nho và thay vào đó là hệ thống trường Pháp - Việt.
Chương trình tiểu học Pháp bản xứ chia thành năm lớp: lớp đồng ấu cho học sinh 7 tuổi; lớp dự bị 8 tuổi; lớp ba 9 tuổi, lớp nhì 10 tuổi và lớp nhất 11 tuổi. Học sinh lớp nhì lên lớp nhất phải làm bài thi gồm phần viết chính tả và luận Pháp văn cùng ba bài thi vấn đáp.
Bậc tiểu học theo chương trình Pháp - Việt khi đó rất nặng và khó. Đơn cử lớp đồng ấu phải học 11 môn như luận lý (morale), thể dục, tiếng Việt, tiếng Pháp, học số và hệ thống mét, địa dư, chữ Nho… Chương trình lớp nhất sơ học (theo hệ thống trường Pháp) phải học đủ 15 môn toàn bằng tiếng Pháp.
Việc học quá tải nên nhiều học sinh ở ba lớp chót của tiểu học bỏ rất nhiều. Một thống kê năm 1923 ở ba miền Bắc, Trung, Nam cho thấy tổng số học sinh lớp đồng ấu là 90.000 (trong tổng số 187.000) thì lớp nhì và nhất chỉ có 17.000.
Năm 1924, Pháp buộc phải điều chỉnh bậc học này bởi nhận ra học sinh không thâu lượm được kiến thức vững chắc, rốt cục sẽ không thông thạo cả tiếng mẹ đẻ lẫn tiếng Pháp. Khi đó, lớp nhì được chia thành lớp nhì năm thứ nhất và lớp nhì năm hai nên bậc tiểu học có sáu lớp.
Trong ba lớp đầu của bậc này (còn gọi là bậc sơ học) sẽ dạy bằng chữ quốc ngữ, đến những năm cuối tiểu học sẽ dùng tiếng Pháp. Song, chương trình tiểu học càng dài, càng khó khăn tạo thành rào cản lớn cho học sinh. Bình quân cứ 40 em học lớp đồng ấu thì chỉ còn một em đậu bằng tốt nghiệp Pháp - Việt.
Những năm sau đó, kéo dài đến trước Cách mạng tháng Tám 1945, hệ thống giáo dục Pháp - Việt không có nhiều thay đổi về quy mô, chính sách.