Kegiatan politiknya bermula saat ia masih mahasiswa. Ia adalah anggota perkumpulan mahasiswa Indonesia di negara Belanda dan karena aktifitasnya itu ia dipenjara selama 6 bulan.
Setelah kembali ke Indonesia pada tahun 1928, ia bekerja sebagai penasihat hukum di Yogyakarta dan mengajar di Lembaga Pendidikan nasional ''Taman Siswa'', dan menjadi editor majalah mingguan 'Djaget'. ia bergabung dengan partai nasional yang dipimpin oleh Soekarno dan terpilih menjdi dewan eksekutif. Setelah Soekarno ditahan tahun 1929, partai ini pecah dan Ali bergabung dengan partai baru 'Partindo'.
Setelah proklamasi kemerdekaan 1945, semua orang berhak membentuk partai dan kemudian Partai Nasional Indonesia didirikan kembali. Ali kembali bergabung dengan partai itu. Selama periode revolusi bersenjata, Ali menduduki beberap jabatan penting di pemerintahan seperti Menteri Pendidikan, anggota delegasi perundingan dengan Belanda dan Sekretaris Jendral Badan Pertahanan Negara.
Sebelum menjadi perdana menteri tahun 1953, Ali Sastroamidjojo menjadi duta besar Republik Indonesia untuk Amerika Serikat.
