Osmanlı Devletinde Mahkemelerin kararlarını inceleyerek, yanlış olanları bozma yetkisine sahip bir yüksek mahkeme 19. Yüzyıla kadar kurulmuş değildi. İslam Hukukunda temyiz yoluna benzer bir yol vardı; ancak bir Yüksek Mahkeme yoktu. Bu nitelikte bir mahkeme ilk kez 6 Mart 1868 Cuma günü (11 Zilkade 1284) Sultan 2. Mahmut tarafından 1837 tarihinde hukuk konularında danışma kurulu olarak oluşturulan Meclis-i Vâlâ-i Ahkâm-ı Adliye isimli kurulun Sultan Abdülaziz'in fermanı ile ikiye bölünerek adli konularla ilgili bölüme ise " Divan-ı Ahkam-ı Adliye" (bugün ki ismiyle Yargıtay), idare konularıyla ilgili bölüme "Şûra-yı Devlet" (bugün ki ismiyle Danıştay), isimleri verilerek kurulmuştur. Adli Hükümler Kurulu anlamına gelen Divan-ı Ahkam-ı Adliye Yargıtay'ın ilk halidir. Divan-ı Ahkam-ı Adliye'nin ilk Başkanlığına Halep Valisi Ahmet Cevdet Paşa atanmıştır.

Sultan Abdülaziz Mahkemenin kuruluşuna ilişkin ferman da Mahkemenin kurulmasına ilişkin kuvvetler ayrılığı fikrine değinerek aşağıdaki şekilde beyanda bulunmuştur:

Hem devlet ve memleketçe hem kişilerin hak ve güvenlikleri bakımından en çok gerekli bulunan reformlardan biri dahi hukuk işlerinin mülki işlerden ve yürütmeyle görevli hükümetten ayrılmasıdır. Bu önemli işin de bir an önce yoluna konulması adalete değer veren Sultan'ın en büyük arzusudur.

Fermanda Divan-ı Ahkam-ı Adliye bir Meclis-i Müstakil yani bağımsız bir kurul olarak tanımlanmıştır. 18.06.1879 günlü Nizamiye Mahkemelerinin Kuruluş Kanunu ile Yargıtay'ın kuruluşuna bir düzen verilmiştir. Bu kanun ile Yargıtay artık Divan-ı Ahkam-ı Adliye içinde bir mahkeme olmayıp başlı başına bir mahkemedir. Başsavcılık da ilk defa bu kanunda yer almıştır.

Anadolu topraklarının işgali ve Milli Mücadelenin başlamasıyla beraber 23 Nisan 1920 de kurulan Türkiye Büyük Millet Meclisi toplandıktan sonra ilk çıkardığı kanunlardan biri 7 Haziran 1920 tarihli 4 sayılı kanundur. Kanun başlığı Muvakkat Temyiz Hey'eti Teşkiline Dair Kanundur. Kanunun gerekçesi ise İstanbul'un düşman işgaline girmesinden dolayı evrakın İstanbul'a gönderilememesidir. Bu şekilde Sivas'ta bir temyiz mahkemesi kurulmuş ve iki Yargıtay aynı anda faaliyetlerine devam etmiştir. Sivas'ta ki mahkeme hükümet konağında faaliyetlerini sürdürmüştür.

Cumhuriyetin ilanından hemen sonra ise 14.11.1923 tarihli ve 371 sayılı kanun ile Sivas ta ki geçici temyiz kurulu kaldırılarak Eskişehir'de Yargıtay kurulmuştur. Bu Mahkeme faaliyetlerine Türe Sokak da bulunan Adalet İlkokulunda devam etmiştir. Daha sonra 10.06.1935 günlü ve 2769 sayılı kanun gereğince 1935 bütçe yılı içinde Yargıtay Ankara'ya taşınmıştır. Ankara'ya nakil 1935 yılı Adli Ara vermesinde gerçekleştirilmiş olup, Eylül 1935 tarihinde Ankara'da çalışmaya başlamıştır. Naklin gerekçesi ise Hakimlerin diğer kurullardaki görevleri ve Adalet Bakanlığı ile ilişkilerdir.