劍仙之說由來已久，早在《列子》一書中便有記載。劍仙應起源于軒轅黃帝問道廣成子，《軒轅金鼎文》上有黃帝崆峒問道廣成子，鼎湖之畔煉丹劍的記載。
相傳劍仙真正形成的時期應是在戰國，當時燕國，趙國，韓國等地的青年崇尚劍術，好搏擊，形成了多種劍法，尤其燕國與趙，所以詩有：燕趙多俠士之說。自秦滅六國后劍術不興，遂分為晉地劍仙，燕地劍仙，川地劍仙。我們都熟悉的越女應算是劍仙早期的代表人物了。正史記載的劍仙是呂洞賓。
在《宋史·陳摶傳》中：關西逸人呂洞賓有劍術，百余歲而童顏，步履輕疾，頃刻數百里，世以為神仙，皆數來陳齋中，人皆異之。《中呂傳道集》記載呂洞賓的劍術得自火龍真人的天遁劍法，分為法劍與道劍。后呂祖又創出智慧三劍。呂洞賓詩云：昔年曾遇火龍君，一劍相傳伴此身，天地山河共結冰，星奪日月任停輪，須知本性綿多劫，空向人間歷萬春，昨夜鐘離傳一譜，六天宮殿欲成塵。