逍遥楼最早建于唐代武德四年（621年）， 由当时的桂州大总管李靖以独秀峰为中心修建桂州城， 称为“子城”，逍遥楼就座落在子城的城墙上，成为桂林东边的一个制高点。唐宋以来，逍遥楼一直是文人雅士登楼赏景、题诗作画、宴饮留别的绝佳场所。
历史上的逍遥楼，是中原人士经湘桂走廊进入桂林举目可视的标志性建筑，因而，无论是失意官场的羁旅，还是过往云游的骚客，登临逍遥楼，总有边关乡愁、踌躇满志的冲动，免不了要吟诗作对，以抒情怀。你看，唐代著名宫廷诗人宋之问，被流放到桂林，登上逍遥楼，遥望山川，感慨万千，写下了客落他乡的愁怀诗篇：“逍遥楼上望乡关，绿水泓澄云雾间。北去衡阳二千里，无因雁足系书还。”元代诗人、伯笃鲁丁登临《逍遥楼》，远岫群山，近水微波，诗兴大发，挥笔写下："身世云霄上，飘然思不穷。睛山排翠阔，暮霭閟琳宫。牧笛殘云外，渔歌落照中。蓬莱凝望眼，隐隐海霞红。"诗中所描绘牧笛、渔歌、红霞、江岸等逍遥楼周边景色，正是诗人的梦中美景
千百年来，逍遥楼历经风雨，屡毁屡建。宋崇宁元年（1102年），广西经略按抚使程节，对逍遥楼进行了重新修建。因桂林在湘水之南，改名为“湘南楼”，不久之后，文化底蕴深厚的桂林人认为，“湘南楼”突出是地域上的建筑，缺失的是历史和人文驰怀，于是，仍旧恢复了“逍遥楼”的名称。入清以后，很难找到有关有关逍遥楼的文字记载，抗日战争期间，逍遥楼毁于战火。1939年，拆出逍遥楼的城墙，石料用于修筑大桥。逍遥楼石碑，移至七星公园的普陀山保护起来。文革初期，“逍遥楼”三字遭到破坏， 1972年，桂林市文管会根据旧拓本，对逍遥楼石碑进行了修复。
2014年，重建逍遥楼正式被提上了市委、市政府的议事日程。市主要领导对此事给予高度重视，多次召开会议对重建事项进行研究考证， 并将该项目列为"寻找桂林文化的力量，挖掘桂林文化的价值"的一项重要内容。
逍遥楼重建地点最终被确定在离逍遥楼原址不远的解放桥西北角，并依照唐代建筑风格，由著名设计师精心设计，历一年时间，逍遥楼巍峨的英姿又重新出现在世人眼里，千古名楼终于在国泰民安的大背景下重现昔日的荣耀与辉煌。
