北宋末年，金朝侵入東京，不僅俘虜了徽欽二帝，而且導致了北宋的滅亡，史稱靖康之變。迫於形勢，康王趙構一路逃往臨安，成了南宋的開國皇帝。趙構是欽宗的同父異母弟，他的母親韋氏是徽宗的嬪妃。為了證明自己是皇族正統，趙構命人畫了一卷《中興瑞應圖》，其中第一幅就是韋妃卜棋。

當時正值兵荒馬亂之際，韋氏並不知道趙構已在南京即皇帝位。她很關心兒子的吉凶如何，於是韋妃用象棋占卜。她將棋盤置於桌上，用黃羅裹住三十二枚棋子，將康王字樣貼在「將」上（趙構封康王）。一切布置妥當後，韋妃焚香禱告：「今三十子俱掷于局，若康王字入九宫者，主上必得天位。」一擲棋子，只有黑將入九宮內，其餘各子均在九宮之外。韋妃大喜過望。

後來南宋局勢漸趨穩定，此時的韋妃也做了顯仁皇后。趙構聽說了這件事，於是他命蕭照畫了一卷《中興瑞應圖》，把當年韋妃占卜的情形盡情入畫。這幅畫中間是深宮內庭，四周草木繁盛，在亭子中設有桌案和棋盤。一位穿紅袍的貴婦正在投擲棋子，畫中題贊道：「宗廟大慶，曷論舂陵，三十二子，乾吉允昇」。意思是說趙構即位是上天降下的瑞兆。

可是這幅畫並未給宋朝帶來好運。趙構做了皇帝，一味向金朝求和。他崇信秦檜，殺害岳飛父子，向金朝納貢稱臣，屈辱求和。至此南宋偏安一隅，始終沒有收復北方，直到被蒙古所滅。由此可見，宋高宗是一個逃跑皇帝，他不善於治國強兵。但和他的父親宋徽宗一樣，趙構也能寫善畫，尤其精於草書和行書。後人評價他道：「高宗善眞、行、草書，天縱其能……」「以之繼體守文則有餘，以之撥亂反正則非其才也。」