Okul ile ilgili ilk bilgilere ilk defa “Afyon Rüşdiye Mektebi” adı altında 1912 yılında Servet-i Fünun dergisinde yayınlanan bir yıllıkta rastlanmaktadır. Yıllığın (Salname) kronoloji bölümünde Merkez Rüştiyelerinin Küşatı (açılışı) kısmında okulun kuruluşu Ağustos 1894 olarak belirtilmiştir.

Rüştiye sınıfları oluşturulduktan sonra bunların üzerine idâdî sınıfları da açılmıştır. Karahisar-ı Sahip İdâdîsi de Birinci Dünya Savaşı’na kadar içinde rüştiye olmak üzere eğitim ve öğretim görevini sürdürmüştür (1894-1912). Bu dönemde okulun üç rüştiye ve iki idâdî sınıfı bulunmaktaydı. İdâdîlere meslek bölümleri açılmasına karar verildiğinde Afyon’da ancak Ticaret Bölümü açılabilmiş ve bu bölüme pek az öğrenci kaydolabilmiştir.

İdâdî’nin ilk binası Mecidiye’de, Paşa Camii karşısında mevcut bulunan Rüştiye Mektebi’nin üst katıydı ve ilk kadrosunda 5 öğretmen ile 3 hademe bulunuyordu. Okulda 61 öğrenci eğitim öğretim görmekteydi. 5 yıllık olan Karahisar-ı Sahip İdâdîsi, daha sonra Mecidiye’deki bu okul binasını bırakarak Yukarı Pazar’daki eski Namık Kemal İlkokulunun binasına taşınmıştır. 1897-1898 öğretim yılında 80 öğrencisi, 1321 tarihli Maarif Salnamesi’nde ise 6 öğretmen ve 92 öğrencisi olduğu görülmektedir.

Şimdiki ana taş binanın yapımına 19 Mayıs 1914’te başlanmış ve Ekim 1916’da iki yılı aşkın bir sürede özellikle Birinci Dünya Savaşı’nın bunalımlı devreleri arasında bitirilmiştir. Yapı Türk mimarisinin son gelişmelerini gösteren neo-klasik üsluptadır. Giriş mermer başlıklı basamaklarla döşeli olup, yapının ön ve yan duvarları Osmanlı çini sanatının en güzel örnekleri ile süslüdür. Duvar ise yontma taştandır. Duvarlardaki çini döşemeler kıvrık dal Rumi Palmet dekorlarını taşımaktadır. Yapı, plan yönü ile dikdörtgen şeklinde olup, bodrumlu uzun bir koridor çevresinde, altı sınıf ve üç odadan ibarettir. Üst katta da aynı plan uygulanmış; yalnız ön giriş bölümü, öğretmenler odası olarak yapılmıştır.

1916 yılından itibaren okul kendi binasında 5 sınıflı idâdî olarak eğitim ve öğretimini sürdürmüştür. 1921-1922 yılında ise 9 sınıflı sultânîye çevrilmiştir. 1923-1926 yılları arasında ilk ve orta kısımlı ortaokul olarak çalışmaya başlamıştır. 1926 yılında artan öğrenci sayısı nedeniyle orta kısımdan ilk kısımlar ayrılmış, boşalan sınıflara pedagoji bölümü eklenmiş ve öğrenim süresi 2 yıl olan pedagojili ortaokul şeklinde eğitim ve öğretim hayatını sürdürmüştür.

1929-1930 öğretim yılı döneminde ortaokul, kentin ve çevre ilçelerin artan nüfusu ve duyulan lise ihtiyacını karşılamak amacı ile liseye dönüştürülmüştür. Bu arada pedagoji bölümlerinin sayısı da artırılmıştır. İhtiyacı karşılamak üzere 1931 yılında yatılı öğrenci kabul edilmeye başlanmıştır.

Lisenin artan ihtiyacını karşılamak üzere 1937 yılında ana binanın yanındaki yerde Dumlupınar İlkokulu satın alınmış büyük onarımdan geçirilerek, yemekhane kısmı yaptırılmıştır. 1942 yılında yeni binaya eklenti yapılmış, okula yeni dershaneler ve laboratuvarlar kazandırılmıştır.

1957-1961 yıllarında ahşap olan konferans salonu yıkılmış (deprem bölgesi gerekçesiyle) yerine konferans salonu olmayan bina yapılmıştır (yemekhane bölümü). Yine bu dönemde ana yapı ile Atatürk binası arasındaki boşluğa bir idare binası eklenmiştir.

1961-1965 döneminde öğrencilerin teknik öğrenime kaydırılması düşüncesiyle liseye, eleme sınavı ile Bakanlıkça öğrenci alınması uygun görülmüş; fakat bu karardan çabuk dönülmüştür.

1971-1972 öğretim yılı başlangıcı ile birlikte diğer liselerin çoğunda uygulandığı üzere Fen Deneme Lisesi olarak yeni ders yılına başlamıştır. Aynı yıl ortaokul kısmı resmen kapatılmıştır.

Artan öğrenci sayısı sebebiyle mevcut binaların eğitim ve öğretime yeterli olmaması nedeniyle 1992 yılında ihalesi yapılarak pansiyon binası olarak da bilinen ek binanın, yemekhanenin, çamaşırhanenin yıkılmasıyla elde edilen araziye, 7 Haziran 1994 tarihinde yeni binanın temeli atılmıştır. Yapılan binalar, ana bina ile aynı mimariye sahip olup 26 derslik ve laboratuarlar, 300 kişilik konferans salonu ve olimpik ölçülerde kapalı spor salonundan oluşmaktadır. 1993 yılında okulda yabancı dil ağırlıklı lise açılmıştır.

1999 yılında, orijinal yapısına sadık kalınarak ana bina restore edilmiş, 2004 yılında okulun teknoloji odası, internet kullanım odaları kalıcı olarak tesis edilmiş, ayrıca fizik, kimya, biyoloji labaratuvarları yeniden donatılmış, resim ve müzik odaları ise daha kullanışlı hale getirilmiştir.

2005-2006 öğretim yılından itibaren ise ismi aynı kalmakla birlikte Anadolu Lisesi statüsüne kavuşan Afyon Lisesi, 2014 tarihinde açılışı yapılan tarihe ışık tutan eserlerden ve 4 salondan oluşan güzel bir okul müzesine sahiptir.