吕祖有剑术。寻常小老百姓，素质不高，往往是见了浅近的东西才喜欢，见了刀棍才害怕。所以佛教中才有种种地狱之说，唬得这小老百姓战战兢兢地去拜佛。而知识较高的人士学佛时却并不多谈地狱之事。相传吕祖经常身背一把长剑，神威凛凛，剑术通神。《宋朝国史》中也这样说：“关中逸人吕洞宾，年百余岁，而状貌如婴儿，世传有剑术。”民间相传吕祖可飞剑取人首级于千里之外。也就是说，吕祖一念咒，他身后这把剑就像“战斧”巡航导弹一般自动飞去找目标了。
其实吕洞宾剑术极精不假，他自己也写诗说道：“欲整锋芒敢惮劳，凌晨开匣玉龙嗥。手中气概冰三尺，石上精神蛇一条。”但吕祖是仙人，他的剑并不会随便杀人的。南宋时吴曾所撰的《能改斋漫录》卷十八中，写吕祖自已言道：“世言吾卖墨，飞剑取人头，吾甚晒之。实有三剑，一断烦恼，二断贪嗔，三断色欲。”是啊，挥剑杀人这等事，正像《庄子》里《说剑》篇中说的那样：“相击于前，上斩颈项，下决肝肺，此庶人之剑，无异于斗鸡。”——这只是未节小技。而老子说过：“胜人者有力，自胜者强。”断烦恼、贪嗔、色欲之类却比取人脑袋难得多了，不过寻常下愚之人，却不明白这一点，只觉得飞剑取人头既好玩又可怕。
吕祖不避酒色。三戏白牡丹乃是颜洞宾之事，与吕祖不相关。上面我们说了，吕祖的宝剑最重要就是“断烦恼、贪嗔、色欲”的心中之剑。他哪里会干这等到处留情的事情？吕祖自己还写有一篇《警世》诗道：“二八佳人体似酥，腰间仗剑斩凡夫。虽然不见人头落，暗里教君骨髓枯。”又说过：“息精息气养精神，精养丹田气养身。有人学得这般术，便是长生不死人。”吕祖如果尘心不断，好色如命，又哪里能练就一身的神通？不过吕洞宾经常流连于酒肆妓院等处也可能是有的，所以这些绯闻也被编排到他的身上。但吕洞宾经常逛妓院并非好色滥淫，而是开导劝化这些风尘女子们。据说吕洞宾曾在广陵妓院的屏风上题下这样二首诗，使得当地的一个名妓弃暗投明，悉心学道：嫫母西施共此身，可怜老少隔千春。
他年鹤发鸡皮媪，今日玉颜花貌人。
花开花落两悲欢，花与人还事一般。
开在枝间妨客折，落来地上请谁看。吕洞宾好酒，这个却是不假，道家对于酒并不排斥，好多得道高人、仙人经常都醉醺醺的。所谓“醉里乾坤大，壶中日月长”，大概酒中之趣就颇似道家真义。沉醉之中，物我皆忘，倒真有点万物一也，天地齐也的意思。吕洞宾自己有诗道：世上何人会此言，休将名利挂心田。
他时功满归何处，直驾云车入洞天。诗中豪兴，真似太白之风。“等闲倒尽十分酒，遇兴高吟一百篇”之句尤为精彩。
吕祖好酒，有时喝多了也“出事”。有一次吕洞宾大醉，行走在巴陵市的街头，遇上了当地太守的车驾，这狗官不识吕洞宾，便吆喝左右的衙役们要拿下吕祖问罪，吕祖笑呵呵地说，等我酒醒了再说吧。说罢依旧酣睡，这狗官大怒，正要喝令左右行刑拷打，吕祖却突然不见，只听空中有人吟诗道：暂别蓬莱海上游，偶逢太守问根由。
身居北斗星杓下，剑挂南宫月角头。
道我醉来真个醉，不知愁是怎生愁。
相逢何事不相认，却驾白云归去休。吕祖性格诙谐，度人不倦。说来吕祖和一些远离尘世清高自许的仙人不大一样，他常游戏人间，据说他曾发大誓愿道：“必须度尽天下众生，方愿上升也。”但是正如吕祖诗中所说：“四海皆忙几个闲，时人口内说尘缘。”寻常俗人，度他们恐怕要比骆驼穿过针眼还难。钟吕一派对于传道的方式，是择徒而授，不像其他道派那样疯狂“扩招”。吕祖传徒，必细细考察其根骨，如无修道基础的，别说交五斗米，交五斗金子也不收你。
但如此一来，收徒就困难得多了。一般俗人不但悟性差，还常常认假为真。据说吕洞宾一次到乡间，见一伙子人正给神仙吕祖过寿，吕洞宾一看，众人都在给自己的画像斟酒献肉，他想去讨杯酒喝时，却给赶了出来。吕洞宾叹道：“独自行来独自坐，无限世人不识我。惟有城南老树精，分明知道神仙过。”还有故事说，吕祖见一家母子贫穷，于是投两粒仙米入井，从此井水化为美酒，于是该家中靠卖酒为生，就此衣食俱丰。过了段时间，吕祖来家中回访，其子却抱怨，井水化酒，好却是好，但却没有酒糟可以喂个猪什么的。吕祖长叹道：“人心苦不知足。”于是将仙米收回，井水还是那个井水了。吕祖在人间，恐怕也难免有孤独之感，他有诗道：独上高峰望八都，黑云散后月还孤。