謝俠遜生於光緒十四年，出身貧農。孩提時候，他常在田間地頭看大人們下棋，漸漸喜歡上了，也跟著下起來。他好鑽研，善總結，棋藝水平提高很快。十三歲的時候，在本地鄉村已無對手，有人慫恿他去溫州找陳笙下棋。謝俠遜也想去增長些見識，無奈囊中羞澀，一時沒有成行。
陳笙是個手藝人，以象棋稱名一時，晚清時小有名氣。陳笙比謝俠遜大得多，具體多大年紀無從考證，據謝俠遜自述，陳笙在福建得過獎牌，遠近聞名，庚子年時，在溫州擺下擂台，可見當時陳笙已是功成名就，應在四五十歲之間，大約生於道光和咸豐年間，與傻貝子同時代。
過了一段時間，謝俠遜的親友鼓勵他，還為他湊足路費，他一路來到溫州，找到擂台地點。不料陳笙索要彩金，一盤棋二十銀元，謝俠遜給不起，只說是慕名而來。陳笙見是鄉下小子，衣著朴素，遂定為二元一盤。擂台開始後，圍觀者很多。謝俠遜初出茅廬，年紀很輕，沒有經過世面。在眾人的圍觀下，謝俠遜緊張得渾身戰慄，牙齒撞擊有聲。好在他的棋已有根基，更兼陳笙輕敵，三盤棋下來，一勝一和一負，平分秋色。
對弈結束，謝俠遜長出一口氣，一則沒有虧了親友的盤纏，二則添了信心。自此之後，謝俠遜的名字便為很多人所知道了，陳笙的學生林奕仙，光緒年間的舉人潘定思，後來都與謝俠遜成了朋友。