Yahşihan'ın bulunduğu Kızılırmak kenarında, güneyi açık bir vadiye, tarihi tam olarak saptanamayan bir dönemde, İboğlu ve Bükoğlu isminde iki kabilenin yerleştiği, ayrıca Öksüzce mevkiinde de Öksüzoğulları adlı veya Öksüz Ali namı ile anılan bir kabilenin de 1 km. öteye yerleştiği belirlenmiştir.
Bu yurt sahipleri 30 haneyi bulunca köy halini almış ve göçebelikten ayrılmıştır. Köylerinin adını da "Yörük Köy" olarak kayda geçirmişlerdir. Bu köy Ankara?Kayseri ve Çorum yollarının üzerinde, Kızılırmak nehrinin en büyük geçit vadisinde bulunduğundan, köyde yolcuların dinlenmesi için hanlar yapılmış ve zamanla bu hanların çoğaldığı görülmüştür. Ankara Savaşı sırasında, Yıldırım Beyazıt'ın oğlu veya torununun emrinde bir katar askerle bu hanlarda bir gece dinlendiği ve buraya güzel han anlamına gelen "Yahşihan" ismini koydukları rivayet edilmektedir.
Osmanlı Dönemi'nde bu yöre hanlarıyla şöhret kazanmış, bu nedenle Osmanlı İmparatorluğu bu yeri teşkilatlandırarak, bir karargâh haline getirmiştir. Bu yerin önemi göz önüne alınarak burada demir köprü yapılması kararlaştırılmıştır. Hicri 1321'de inşaatına başlanan bu köprü 1325 yılında tamamlanmış ve Anadolu'nun ilk demir köprüsü olmuştur.
Ankara ? Kırıkkale kara yolu Yahşihan İlçesinin içerisinden geçmekte olup, 43 ilin bağlantı yoludur. İlçenin, il merkezine olan uzaklığı 6 km, Ankara İline olan uzaklığı ise 70 km'dir. Ayrıca Kayseri demiryolu da ilçe sınırları içerisinden geçmekte olup, Kırıkkale'ye 6 km, Ankara'ya ise 86 km'lik bir demiryolu ağı ile bağlı bulunmaktadır.
Yahşihan 1956 yılında Belediye, 09.05.1990 gün ve 3644 sayılı kanunla ilçe olmuştur.