Eric Schmidt khởi đầu sự nghiệp của mình ở một số vị trí về mảng công nghệ tại các công ty công nghệ thông tin như Bell Labs, Zilog và trung tâm nghiên cứu Palo Alto của Xerox.
Năm 1983, ông gia nhập công ty Sun Microsystem, sau đó ông được bổ nhiệm chức vụ Giám đốc công nghệ (CTO) của công ty. Đến năm 1997, ông nhậm chức giám đốc điều hành (CEO) của Novell.
Sau khi rời Novell, ông được hai nhà sáng lập của Google là Larry Page và Sergey Brin tuyển dụng để điều hành hoạt động công ty. Tháng 3/2001, Eric Schmidt trở thành Chủ tịch hội đồng quản trị của Google. Đến tháng 8/2001, ông tiếp tục nhậm chức CEO của công ty.
Ngay sau khi gia nhập Google, ông đã giúp doanh thu công ty tăng lên đáng kể. Đến năm thứ ba ông thực sự trở thành người "chèo lái" Google thẳng tiến vào thị trường mạng Internet. Sau 3 năm, mức giá cổ phiếu của Google đã tăng đến 4,2 lần.
Tháng 8/2006, Eric Schmidt được chọn vào hội đồng quản trị của Apple. Tuy nhiên sau 3 năm, vào tháng 8/2019, ông đã từ chức và rút khỏi hội đồng quản trị do một số mâu thuẫn nảy trong cạnh tranh tăng trưởng giữa Apple và Google.
Tháng 4/2011, Schmidt rời chức vụ CEO của Google, tuy nhiên ông vẫn làm chủ tịch hành chính của công ty và là cố vấn cho hai nhà sáng lập. Người kế nhiệm ông là nhà sáng lập Google Larry Page.
Eric Schmidt còn đóng góp khá nhiều cho chính trị khi là cố vấn không chính thức cũng như là nhà tài trợ chính cho chiến dịch tranh cử tổng thống năm 2008 của Barack Obama. Ông cũng đầu tư vào The Groundwork, công ty khởi nghiệp gắn liền với chiến dịch tranh cử tổng thống năm 2016.
