Okulun ilk binası, bugünkü Yüksek İhtisas Hastanesi’nin bulunduğu saha üzerine kurulmuş olup, Ankara halkı arasında “Taş Mektep” ismiyle tanınmıştır. Rumî 1302 senesinde zamanın Ankara Valisi Sırrı Bey tarafından temeli atılan okul binası, Rumî 1305 senesinde tamamlanmıştır. O tarihlerde Ankara’da böyle bir taş bina yapabilecek usta bulunmadığından Trabzon İdâdîsini inşa eden kalfalar Ankara’ya getirtilerek yapımına başlanan Taş Mektep, iki katlı olarak yontma taştan yapılmıştır. 1886 senesinde beş yıllık idâdî olarak eğitim ve öğretime başlayan okul, 1908’de de sultânî haline getirilmiştir. Okul, Atatürk tarafından ilk defa 30 Aralık 1919’da ziyaret edilmiştir.

1921 senesinde millî mücadelenin o günkü şartları gereğince diğer resmi dairelerle birlikte Kayseri’ye nakledilen okulun üst katı hastane olarak kullanılmış, bir yıl sonra 1922’de tekrar Ankara’ya taşınmış eski binasında faaliyetine devam etmiştir. Bir ara TBMM’ye tahsis edilmek istenmişse de binanın alt kat salonunun büyütülmesi için yapılacak tadilat binaya zarar vereceğinden bundan vazgeçilmiş, daha sonraları ise binanın bir kısım yerleri Millî Müdafaa Vekâlet’ine tahsis edilmiş, 1924 senesinde ise Maarif Vekâletinin ısrarı ile boşaltılmıştır. Daha sonraki yıllarda Sağlık Bakanlığı’na devredilen Ankara’nın ilk lisesi olan Taş Mektep, 1942 yılına kadar yaşamını çeşitli adlar altında sürdürmüş, bu tarihte yıkılarak yerine Sağlık Bakanlığı tarafından bugünkü adıyla Yüksek İhtisas Hastanesi yapılmıştır.

Okulun ismi, 3 Mart 1924’te kabul edilen Tevhid-i Tedrisat Kanunu’nun yürürlüğe girmesinden sonra Ankara Erkek Lisesi olarak değiştirilmiştir.

Millî mücadelenin hüküm sürdüğü yıllarda okulun öğretmen ve öğrencileri cephelerde savaşlara katılmış, gazilik ve şehitlik mertebesine yükselmişlerdir. Vatan müdafaasında gösterdikleri üstün gayretleri ve vatanperver çalışmaları sebebiyle de okula millî mücadele sonunda bizzat Atatürk tarafından hediye edilen ay yıldızlı sancak günümüze kadar itina ile muhafaza edilmiş ve bu kutsal emanet okulun en büyük gurur ve şeref kaynağı olmuştur.

Atatürk, 28 Haziran 1933’te okulu ziyaret ederek tarih, coğrafya, yurt bilgisi imtihanlarını izlemiş ve 6/F sınıfının not cetvelini imzalamıştır.

Okulun yeni binasının halen inşaat halinde olduğu 1938 senesinde zamanın Orta Tedrisat Genel Müdürü, Ankara Maarif Müdürü ve okul müdüründen oluşan bir heyet okulun isminin Atatürk Lisesi olması hususunu Cumhurbaşkanlığı’na arz ve teklif etmiş ve ATATÜRK’ün izniyle okulun ismi “Ankara Atatürk Lisesi” olmuştur.

1937 yılında Ankara’da bulunan Alman mimar Bruno TAUT tarafından projesi çizilen ve inşaatını Asım KÖMÜRCÜOĞLU isimli mühendisin yaptığı okulun şimdiki binasına 10 Ekim 1940 tarihinde taşınılmıştır. İlk önce bir bloktan oluşan okula zamanla iki blok daha ilave edilmiş, ayrıca toplantı salonu ve kapalı spor salonları yapılmıştır. 27.000 metrekarelik bir alanda 5.000 metrekarelik oturum alanı üzerine kurulan Ankara Atatürk Lisesi üç bloktan oluşmaktadır. Spor salonu binaya sonradan eklenmiştir.

1960-1970 yılları arasında okulun bazı bölümleri Ankara Yüksek Öğretmen Okuluna tahsis edilmiş, yatakhane, yemekhane ve etüt hizmetleri karşılanmış, 1974-1975 öğretim yılında ise karma eğitime geçilmiştir.

1991-1992 eğitim ve öğretim yılından itibaren okul, bazı derslerin öğretimini yabancı dille yapan Anadolu lisesi ve 2007 yılından itibaren de hazırlık sınıfı uygulaması yapan Anadolu lisesi statüsüne kavuşmuştur. Günümüzde 54 dersliği, laboratuarları, atölyeleri, spor, satranç ve masa tenisi salonları, yemekhanesi, oyun sahaları ile hazırlık sınıflı Anadolu lisesi olarak Ankara’nın en gözde okullarındandır.