來自Stralenberg 18世紀「大韃靼利亞」地圖的細節，在「Ordus」南部展示了「Karakoschun，或者是偉大和著名的成吉思汗墓」。
1227年，成吉思汗在滅西夏的戰爭中病逝於六盤山[2]。元中統四年（1264年）三月，元朝的太廟開始在燕京修建[3]，並於至元三年（1266年）十月建成，成吉思汗八白室開始在元朝的太廟中成型[4]。元朝滅亡時，元順帝北逃，八白室也隨之北遷[5]。此後八白室的歸屬經歷過多次交替[6]，十五世紀七十年代以後，河套地區成為蒙古本部的汗主，當地的蒙古部族就在鄂爾多斯地區重新將各白室聚集起來，修建了新的八白室，用以紀念和供奉成吉思汗，這就是現在的成吉思汗陵的雛形[7]。明萬曆四十二年（公元1614年），博碩克圖濟農在鄂爾多斯部的駐牧地修建王愛召後，「八白室」便遷移至王愛召附近供奉。清初時，八白室被遷移至了鄂爾多斯左翼中旗，所在地也被改名為了「伊金霍洛」，蒙語意為「聖主的院落」[8]。在乾隆年間，八白室當中除成吉思汗靈帳和商更斡爾閣白室之外的其他白室散落到鄂爾多斯各地，只有在每年大型祭祀的時候才會重新聚集到伊金霍洛[5]。
成吉思汗陵這一稱謂始於清朝《欽定理藩院則例》，《欽定理藩院則例》記「伊克昭盟境內有青吉思汗園寢，鄂爾多斯七旗，向設有看守園寢，承辦祭祀之達爾哈特五百戶。」根據清代蒙古文檔案和五世達賴喇嘛的記載，其內供奉著的是成吉思汗畫像[9]。光緒年間，有部分傳教士來到伊金霍洛，把八白室當做「成吉思汗陵」對外宣傳，從此「成吉思汗陵」這一稱呼就流傳開來[10]。
1937年10月，日本關東軍察哈爾派遣兵團進占歸綏、包頭，伊克昭盟的一些王公貴族勢力投靠日本與蒙疆當局。蒙疆聯合自治政府要求伊克昭盟將成吉思汗陵遷移至歸綏，但命令最終沒有得到執行[11]。為了保護八白室免受戰火侵襲，1939年6月，以當時的伊克昭盟盟長沙克都爾扎布為代表的蒙古族人向國民政府提出向西遷陵的請求[8]。在獲得許可後，1939年6月10日太陽未出之時，成吉思汗靈柩在達爾扈特守陵人和軍隊護送下啟程。成吉思汗的靈柩在榆林改以汽車運載，6月16日啟程南下，沿途均受到當地官員和蒙民的隆重迎送。陝甘寧邊區政府成立「迎靈辦事處」，成員有邊區政府秘書長曹力如、八路軍留守處參謀處長曹里懷以及其它有關部門的負責人，還邀請了國民黨膚施縣黨部書記長高仲謙、縣長馬豫章參加。迎靈辦事處設在延安城東約八里處的橋兒溝。邊區政府交際處接待科全部搬到了橋兒溝具體開展工作。6月21日，成吉思汗靈柩路過延安，中共中央組織黨內外群眾對成吉思汗進行了公開路祭，延安的抗大、女大、魯藝、工校、邊府機關、邊區各人民團體、抗日後援會等百餘單位萬餘人，高舉紅旗、標語旗，列隊前往橋兒溝，分列在公路兩旁，與自發前來的當地群眾，綿延達三里許。在橋兒溝的公路旁用布幔布置一座靈堂，靈堂當中掛著寫有「世界巨人」四個大字的橫額，兩旁懸有寫著「蒙漢兩大民族更親密地團結起來」、「繼承成吉思汗精神，堅持抗戰到底」等巨幅標語。靈堂前，用翠草鮮花紮成高大牌樓一座，上面橫懸「恭迎成吉思汗靈柩」的匾額。中共中央代表謝覺哉、中央統戰部副部長柯慶施、八路軍代表滕代遠（八路軍參謀長）、總政聯絡部部長王若飛、八路軍後方政治部主任莫文驊、邊區政府代主席高自立、邊區政府秘書長曹力如、國民黨膚施縣黨部書記長高仲謙、縣長馬豫章、電報局長汪克毅等，在靈堂前等候著靈車隊的到來。沿途迎接的數萬人員向靈柩熱烈高呼「保衛伊金霍洛，保衛內蒙，保衛中國」、「蒙漢聯合起來，打敗日本帝國主義」等口號。靈柩安置於靈堂正中，供上祭品，陝甘寧邊區政府秘書陳行健司儀，一聲「肅立」，眾人垂手恭立，奏國樂，鳴炮。主祭謝覺哉、陪祭滕代遠、柯慶施、高自立、莫文弊、王若飛就位。謝覺哉領導全體向靈柩行禮如儀，黨中央、毛澤東、八路軍總部、八路軍總政治部、八路軍後方留守處、中央統戰部、邊區黨委、邊區政府、教育廳、膚施縣國民黨黨部、縣政府、抗大等單位與人員的代表上前敬獻花圈。中國共產黨中央委員會代表謝覺哉、國民革命軍第八路軍代表滕代遠、陝甘寧邊區政府代表高自立率延安黨政軍民學各界謹以清酌庶饈之奠，致祭文於聖武皇帝元太祖成吉思汗之靈：[12]
日寇逞兵，為禍中國，不分蒙漢，如出一轍；
器然反共，實則殘良，漢蒙各族，皆眼中釘；
乃有奸人，蠢然附敵，漢有漢奸，蒙有蒙賊；
驅除敗類，整我陣容，抗戰到底，大義是宏；
頑固分子，准投降派，摩擦愈凶，敵愈稱快；
鞏固團結，唯一方針，有破壞者，群起而攻；
元朝太祖，世界英傑，今日郊迎，河山聚色；
而今而後，兩族一家，真正團結，唯敵是撾；
平等自由，共同目的，道路雖艱，在乎努力；
艱苦奮鬥，共產黨人，煌煌納領，救國救民；
祖武克繩，黨仁不讓，大旱盼霓，國人之望；
清涼嶽嶽，延水湯湯，此物此志，寄在酒漿。
靈柩離開延安後，途經甘泉、耀縣、洛川、黃陵，三原，6月24日到咸陽，6月25日到西安，全城20萬人郊迎， 沿街香案羅列，鞭炮齊鳴。國民政府代表、地方高級官員及各界知名人士在鼓樓禮堂舉辦了盛大的國祭。從西安開始由第二戰區、第八戰區、第十戰區司令長官代表及天水行營主任程潛全權負責，7月1日成吉思汗靈櫬西遷至甘肅省榆中縣興隆山[13]，安放於興隆山東山大佛殿。
1949年8月，馬步芳在敗退至青海時帶走了八白室，並最終將其遷移至青海塔爾寺[11]。
中華人民共和國成立後，1953年，內蒙古自治區人民政府應蒙古族群眾的要求，向中共中央和中央人民政府遞交「將成吉思汗靈柩遷回伊金霍洛」的報告。這份報告後來得到周恩來批准，同時撥款80萬元專款在伊金霍洛旗重新修建陵園。1954年3月6日，綏遠省被併入內蒙古自治區[14]，當年3月15日，內蒙古自治區迎接成吉思汗靈柩代表團一行29人前往青海省，並於4月7日從塔爾寺接回了成吉思汗八白室，並將其重新安放在1939年西遷前的土地上[15]。1955年，成吉思汗陵正式開始建造，並於當年建成[16]。在建造過程中，除了修建成吉思汗陵墓外，鄂爾多斯其他各旗的相關祭祀神一同也被徵集入陵園，並分別安排祭祀地點[註 1][6]。1956年，成吉思汗陵園建成，此時成吉思汗的靈柩曾被打開，共有7層，其中最內層放置著由一幅畫作包裹著的一隻皮枕頭，皮枕頭內所包裹的究竟是什麼物品至今不得而知，學術界對此也有多種猜測[18]。文化大革命期間，成吉思汗陵遭受了嚴重的破壞[19]。此後，成吉思汗陵經過多次維修和翻新，在翻新的過程中新增了部分陳設和壁畫[20]。1982年，成吉思汗陵正式被列入全國重點文物保護單位[1]。1985年，成吉思汗陵正式對外開放[6]。