1869 Maarif-i Umumi Nizamnamesi, Osmanlı maarifi için bir dönüm noktası olmuştur. Nizamnamede maarifle ilgili birçok hususun yanında bütün köy ve mahallelerde Sübyan Mektepleri açılması, beş yüz haneli kasabalarda idâdîlerin, vilayet merkezlerinde de sultânîlerin açılması hükme bağlanmıştır. Sultan II. Abdülhamit döneminde de eğitimdeki hızlı gelişme devam ettirilmiş ve 1869 Maarif-i Umumiye Nizamnamesi’ndeki eğitim sistemi uygulanmıştır. Tanzimat döneminde, daha çok merkezde kalan eğitim kurumları ülke sathına yaygınlaştırılmıştır. 1884’te konulan vergilerin bir bölümü devlet okullarının yapımına ayrılmıştır. Yerel eğitim meclislerine mali imkânlarını kullanma, öğretmenleri atama ve azletme yetkileri verilmiştir.

Yıllar içerisinde sayısız ilim adamını mezun eden Yozgat Lisesi, 1895 yılında II. Abdülhamit döneminde beş yıllık nehari idâdî (rüştiye denilen ortaokullardan sonra yüksekokullara hazırlayıcı okul) olarak açılmıştır. Binanın yapanı ve yaptıranı belli değildir. Binada bulunan kitabe kazındığından okulu yaptıran kişi hakkında malumat edinilememiştir. 15 Haziran 1927’de Resm-i Cedide’de yayınlanan 23 Mayıs 1927 tarihinde çıkarılan “Tuğra ve Medeniyetlerin” kaldırılması hakkındaki kanunun yanlış anlaşılması sonucu mülki idareciler cümle kapısı üzerindeki kitabeyi kazıtmışlardır.

Yozgat Lisesi, 1912 yılına kadar ilkokul, 1912 yılında ortaokul ve yatılı olarak Manastır Sultânîsinin lağvı üzerine oradan gelen çok az öğrenci ve öğretmen ile şimdiki binada eğitim ve öğretime açılmıştır. Daha sonraları bir müddet kapatılan okulun öğrencileri Konya Lisesine nakledilmişlerdir. Ancak halkın isteği üzerine okul, 1924 yılında tekrar açılmış, 1933-1934 öğretim yılından itibaren lise olarak hizmete başlamıştır. Lisenin açılmasında Yozgat halkının, bilhassa Yozgat milletvekili Salih BOZOK ve Vali Baran Beylerin büyük gayretleri olmuştur.

1940’lı yıllarda öğrenci mevcudunun artması üzerine ortaokul Cumhuriyet İlkokulu ile ikili eğitime devam etmiş daha sonra da eski idâdî binasına taşınmıştır. 1946-1947 yılında yeniden lise binasına alınmıştır. 1966-1967 eğitim ve öğretim yılından itibaren lise, ortaokuldan ayrılarak müstakil hale getirilmiştir. Lisede Yozgat’ın civar illerinden gelen yatılı öğrenciler de okutulmuştur.

Bina sarı kesme taşlardan iki katlı, kırma çatılı, dikdörtgen planlıdır. Doğu batı doğrultusunda uzanan yapının güneye bakan kısmın ortasında üçgen alınlıklı ve iki sütuna oturan cumba gibi bir taşkınlık vardır. Bu sundurmalı kısmın ortasında yer alan yuvarlak kemerli giriş kapısının sağ üst köşesinde bir kitabe bulunmaktadır. 1948 yılında okulun eklentilerinin arasında yer alan pansiyon binası yapılmıştır  Bina tarihi özelliklerine dokunulmadan ve izin alınarak iki büyük onarım geçirmiştir. İlki 1980-1981, ikincisi 1986-1988 yılarında yapılan çalışmalardır. 1999-2001 yılları arasında okulda büyük çapta onarım yapılmış, tarihine yakışır bir görünüme kavuşturulmuştur. 

Yozgat Lisesi, tarihi bir okul olması nedeniyle zengin bir kütüphaneye sahip olup 12176 kayıtlı kaynak esere sahiptir. 1998-1999 Cumhuriyetin 75. yılı münasebetiyle okul müzesi oluşturulmuştur.

Okul, 1934 yılından bu yana Yozgat’ta devletin üst yönetim kademelerinde önemli görevler almış nice ünlü şahsiyetler yetiştirmiştir. Yozgat’ta “Taş Mektep” veya “Sarı Mektep” olarak bilinen okul Yozgat’ın eski üniversitesi gibi itibar görmüş, Türk eğitimine katkılarda bulunmuştur.