，八岁能文，十岁时，三兄愿良建澄社于崇德，东南士子千余人，往来聚会，征选诗文，评议朝政，吕留良深受影响。
崇祯十四年，孙子度建征书社于崇福禅院。
这时吕留良十三岁，以诗文入社，大得子度赞赏，并被视为畏友。
吕留良博学多艺，有二十四绝技，“凡天文、谶纬、乐律、兵法、星卜、算术、灵兰、青乌、丹经、梵志之书，无不洞晓。
他工书法，比颜尚书、米海岳，晚更结密变化。
而且吕留良年少时能弯五石弧，射辄命中。余至握槊投壶、弹琴拨阮、摹印斫砚，技艺之事皆精绝。
然而他会这些似乎是天赋异禀，因为几乎没有人看到他刻苦学习这些技艺的时候。
而在顺治元年，明亡后，三兄吕愿良随史可法镇守扬州，吕留良与侄儿吕宣忠留在家中。
在顺治二年，吕留良与侄儿吕宣忠二人散家财召募义勇，与入浙清军抗衡。
吕宣忠曾署总兵都督佥事。当时，在其友人董时雨的操持之下，四处连络，苦心经营。
监国鲁王加封吕宣忠为扶义将军，给与敕印，令其还至太湖，率部抗清。后来吕宣忠大战清兵于澜溪，也就是太湖下游，乌镇附近，可惜兵败。
吕宣忠遣散所部，入山为僧，后因探父病回家被捕遇害。
就义之日吕留良曾为其送行。国仇家恨，使吕留良痛心疾首，吕留良小时候就有咯血疾，等吕宣忠身亡，他一呕数升，几乎把全身血都咳完了！
后来他把这一时期的诗作结集称为《万感集》。由于在抗清战斗左股中箭，留下终身创伤。《厉耦耕诗》记载有“箭瘢入骨阴辄痛，舌血溅衣洗更新”的诗句。其弟子严鸿逵注谓：“子自言左股曾中箭，遇天雨辄痛。”
不过在此时，吕留良讲起他和家人一起抗击建虏这一段往事时，虽有悲伤，却也心怀希望，因为他发现，如今的新大明女帝才是能让大明百姓过上好日子，能赶跑建虏的明君，他此次前来参加新大明科考，就是希望能为新大明朝廷效力，驱逐建虏！
顾横很欣赏他的不屈不挠，鼓励他专心科举，一定能为朝廷效力的。