方以智一生正当明清交替之际，时局动荡，政权更迭频频，使得他个人的际遇也十分坎坷。一生可分三个时期。早期从青年时代到三十三岁，由于仰仗祖上的余荫，尚能过着“衣纨縠，饰驺骑，鸣笳叠吹，闲雅甚都”的富贵文人的生活。中期自甲申从北京逃返南都，又经浙江，福建到两广，从三十四岁到四十二岁，艰苦的十几年流亡在他的思想上打下了深刻的烙印。晚年从顺治九年（1652年）北归，到康熙十年（1671年）六十一岁时，病殁于赣江上万安城外的惶恐滩。这时期潜心学术，写出了大量理论著作。在对现实失望后，放弃了少年时的经世抱负，出家后，虽然看似逍遥法外，但仍不忘救世，讲学宏道，交朋纳友。
早期
从青年时代到崇祯十七年（1644年）
方以智青年时代活动地点主要是南京和桐城，也间或经过江浙各地，最后去北京。
桐城泽社的活动。当崇祯初年，方以智在他父亲所建的城郊泽园中，成立“泽社”。社中有方的堂叔方文（字尔止），妹夫孙临（字克咸），以及钱秉镫（又名澄之），周岐（字农父）等人。方或赋诗作文，或读 经、史，又关心“万物之理”，随时札记，积累了丰富知识，奠定了学术基础。方的两位业师，一是白瑜（字瑕仲），一是江西金溪人王宣（字化卿，号虚舟）。当时王已七十余岁，所著《物理学》对方以智以后写作《物理小识》多有启发。泽社中一群有朝气的青少年，往往慷慨酣歌，论天下大事。方自述说。“处泽园，好悲歌……好言当世之务，言之辄慷慨不能自止。”（《孙武公集序》）这个团体与当时东南一带的会社一样，不仅研究文学，也带上政治色彩。
那时，桐城阮大铖，是魏忠贤阉党的余党，崇祯初即被列入“逆案”名单。方的同学钱澄之曾加入阮大铖退居养晦时所创建的江社，经方以智劝阻后，又退出江社。《钱田间年谱》崇祯五年（公元1632年）条下记载了这件事：“方密之吴游回，与府君（即钱澄之）言曰：吴下事与朝局相表里，先辨气类，凡阉党皆在所摈。吾辈奈何奉为盟主？曷早自异诸！“吴下事”指张溥，张采成立复社的事。“辨气类”就是要分清东林、复社与阉党的界限。这样一来，钱澄之转而参加泽社的文课，凡江社的会期都辞谢不赴。而作为“乡先辈”的阮大铖开始对方产生仇隙。南都的《留都防乱公揭》
崇祯七年（公元1634年），桐城“民变”，方以智移居南京。结交天下名士有黄宗羲、吴应箕、陈贞慧、冒襄、侯方域、顾杲、沈昆铜、陈梁等人。
崇祯十年（公元1637年）他们大会东林党被害六君子的孤儿周茂兰、魏学濂等于桃叶渡。方以智和陈梁曾写长诗纪事，为东林党扬声吐气。这时阮大铖寄居南京，谈兵说剑，联络各方，希图再起。
崇祯十二年（公元1639年）陈贞慧与吴应箕共同起草驱逐阮大铖的宣言《留都防乱公揭》。公揭以东林创始人顾宪
成之孙顾杲以及黄宗羲为首署名，共计一百四十人。阮大铖在千夫所指之下，隐藏到城外牛首山，不敢进城。尽管方以智这年春天回桐城，秋后重来南京应试，未曾在揭贴上署名。而阮大铖联系江社往事，仍认为公揭出于方以智主谋，因此怨毒更深。清顺治二年（公元1645年），弘光在南京即位，阮大铖夤缘通过关系成为兵部尚书，对大批东林后人以及复社成员进行了报复。
崇祯十七年（公元1644年）李自成入北京，方以智被起义军郭营所得，不久乘机逃到南京。这时阮大铖当权，修复旧怨，借口方以智在李自成入京后没有“殉节”，而把方列入“从逆六等”中的第五等，处理方法是“宜徒拟赎”。方以智在南都不能久留，由陈子龙介绍，经过浙江，福建辗转到达广州避难，结束了早年时代生活。这一时期中，由于方以智对经、史、百家知识基础坚实，“凡天人，礼乐，律数，声音，文字，书画，医药，下逮琴剑技勇，无不析其旨趣”（《桐城耆旧传》卷六）。崇祯十四、十六年已分别开始写作《通雅》与《物理小识》。
方以智早年没有更多的研究哲学，而主要是写作诗、词和政治论文。他主张“公”和“明”。《通雅》卷首中说：“治在君、相，人在师教，学在实讲，公、明而已。”《中涓议》中又引证了朱熹的“惟公惟明，相道毕矣”。他认为“公”就是没有偏见，“明”就是“能好能恶”。这与一百年后戴震所强调的“去私”与“去蔽”的政治主张有相通之处。
中期
从明崇祯十七年（1644年）至清顺治九年（1652年）在广州期间
方以智改名吴石公，后被南海令姚奇胤（字有仆）所发现。姚是方的故人和庚辰（公元1640年）考试的同年，他请方为其儿子姚端的老师。在南海令官署，方以智重新整理《通雅》旧稿。又曾写《锦缠玉》剧本，亲教伶人排唱。这时他写作的诗集取名为《瞻旻》。方到粤不久，其夫人潘氏携第三子方中履经福建来广州团聚。顺治三年（公元1646年）桂王朱由榔在肇庆即位监国，任方以智为少詹事，翰林院侍讲学士。由于党派斗争，太监专权，他看到事无可为，坚决退隐在湖南广西交界的苗峒中。永历多次召他为东阁大学士，他十次上疏辞退。这些辞疏尚都保存，可以看出他当日对时局的观感。他的诗句“西南更望层云黑，谁把新亭泪眼看”！说明了他对永历朝廷的失望。
顺治七年（公元1650年）清兵入广西桂林，瞿式耜与张居正的曾孙张同敞共同守城殉难。方以智去昭平仙回山“披缁为僧”。方中履随方以智入山“父析子荷，父汲子炊”，过着饥寒交迫的生活，终于被清兵搜出。清帅马蛟驎反复逼降无效，最后听任方为僧。方以智于是去梧州，在梧州云盖寺居住两年。至顺治九年（公元1652年）八月，偕同施闰章（宣城人，号愚山）至庐山，同年年底回桐城省亲。他的哲学著作《东西均》的开章即写于到达庐山之时。这一阶段是方以智一生的转折点，从轻衣肥马的贵公子到流离转侧的苦行僧，从红灯绿酒到黄卷青灯，从入世到出世。《桐城耆旧传》的作者马其昶论方以智说。“躬豪杰之才，遭逢季运，以占毕称，岂其志哉。”就在这一阶段，对政治和社会的理想与抱负无从实现，于是全部精力转入著书立说的学术生活中。在流离中缺乏图书资料，他自己说“作挂一漏万之小说家言，岂不悲哉。愚道人今年三十六矣，读书亦有命”（见《通雅》卷三附记）。然而在这一时期终于写成《物理小识》，《切韵声原》，《医学会通》，《删补本草》等书。
晚期
从清顺治十年（1653年）至康熙十年（1671年）
方以智晚年，从顺治十年（公元1653年）算起，这年元旦，回到桐城白鹿湖见到父亲方孔炤。他在《象环寤记》中说：“以祗支（袈裟，表示为僧）为退路，即为归路。”说明他在梧州为僧，其实际目的是为了回乡。安徽地方官要奏用他时，他说：“匹夫不可夺志，出世人安往（往何处），不得涅盘也？”“祗支”和“涅盘”成为他的遁词和借口。就在这年，他重去离别十年的金陵，皈依天界寺的觉浪道盛法师。觉浪是当时佛教曹洞宗的前辈，曾因文字中称朱元璋为“太祖高皇帝”被清政府逮捕下狱，后查明系明亡以前所作而释放。觉浪的另一门徒啸峰大然也就是崇祯末年与方孔炤同系诒狱的御史倪嘉庆。方以智“闭关”于金陵高座寺的看竹轩，潜心写哲学著作。作为曹洞宗的一个法门弟子，佛教对他有一定影响。另一方面，出家又只是与环境作斗争的一种手段。
方以智酷爱自然科学知识，自幼塾中诵读之余，即好穷物理，曾谓“不肖以智，有穷理极物之僻。”（《物理小识》卷五）明清之季，西学东渐，方以智一面秉承家教，以《易》学传世，一面又广泛接触传教士，学习西学。经过孜孜不倦的努力，他终于在哲学和科学两方面都取得了很大成就，达到了相当的高度。
方以智学识渊博，《清史稿》本传说：“以智生有异秉，年十五群经子史略能背诵。博涉多通，自天文、舆地、礼乐、律数、声音、文字、书画、医药、技勇之属，皆能考其源流，析其旨趣。”这一评价并不过分，他在许多领域都有自己独到见解。例如，在学术分类问题上，他把学术分为三类，说：
“考测天地之家，象数、律历、音声、医药之说，皆质之通者也，皆物理也。专言治教，则宰理也。专言通几，则所以为物之至理也。”（《通雅·文章薪火》）
在这三种学术中，他讲得比较多的是通几与质测。他说：
“寂感之蕴，深究其所自来，是曰通几；物有其故，实考究之，大而元会，小而草木蠢蠕，类其性情，征其好恶，推其常变，是曰质测。”（《物理小识·自序》）
可见，所谓通几，是对事物发生根本原因的探讨，而质测则要求脚踏实地考察事物变化原因，按特性予以整理分类，总结验证已知规律，预测未来发展变化。显然，通几与质测是从研究目的和研究方法着眼对学术活动所做的分类。在中国，这种分类是方以智的独创。
在天文学方面，方以智结合中国传统的天文学和当时传教士传入的西方天文学，讨论了地心学说、九重天说、黄赤道、岁差、星宿、日月食、历法等天文学问题。对于西方天文学知识，他非常重视，经常追踪西方天文学最新进展，例如他在讨论天体运动轨道问题时，就曾根据西方用望远镜观天发现金星有周相变化的事实，提出了金星、水星绕太阳运行的正确猜测。
方以智接受西方科技知识，并非盲从，而是经过自己的认真思考、消化。例如他对于西方地圆说，就是首先考察了地圆说赖以成立的观测证据，然后才加以接受的。对于传教士的错误说法，他则予以批驳。例如传教士曾说，太阳半径为地球半径的160多倍，而太阳距地球只有1600多万里，方以智指出这是错误的，因为据此计算（定地球圆周长约9万里），太阳的直径就将近有日地距离的三分之一大，这显然是不可能的。他运用自己的“光肥影瘦”理论，对这一问题做了解释，指出人目所见的太阳圆面比实际发光体要大，因此按几何方法进行的测量并不准确。他的这一理论后来被《历象考成》的作者所接受。
在物理学方面，方以智更有诸多创见。他从气一元论自然观出发，提出一种朴素的光波动学说，认为： “气凝为形，发为光声，犹有未凝形之空气与之摩荡嘘吸。故形之用，止于其分，而光声之用，常溢于其余：气无空隙，互相转应也。”（《物理小识》卷一）
显然，方以智认为，光的产生是由于气受到激发的缘故。由于气弥漫分布于所有空间，彼此间无任何空隙，被激发的气必然要与周围静止的气发生相互作用，“摩荡嘘吸”，将激发传递出去，这就形成了光的传播。由此，方以智所描述的是一种朴素的光波动学说。为了与近代光的电磁波动说相区别，可以称之为气光波动说。
从气光波动说的角度出发，方以智进一步提出了光不走直线的主张，他把它叫做光肥影瘦，认为光在传播过程中，总要向几何光学的阴影范围内侵入，使有光区扩大，阴影区缩小。他并且指出，由于光肥影瘦现象的存在，使得基于光线直进性质进行的测量得到的结果都不准确。他说：
“物为形碍，其影易尽，声与光常溢于物之数，声不可见矣，光可见，测而测不准矣。”（《物理小识》卷一）
为了证实自己的观点，他还做了小孔成像实验，并且努力用自己的理论去解释常见光学现象。所有这些，在物理学发展史上，都是很新鲜的。
另外，他对于光的反射和折射，对于声音的发生、传播、反射、隔音效应，对于色散，对于炼焦、比重、磁效应等诸多问题的记述，都是领先于同时代人的。
在生物医学方面，方以智也有诸多值得一提之处。他在其《物理小识》一书中，记述有大量动植物的生态学内容和栽培、管理等知识。他引述了传教士“脑主思维”之说，介绍了他们关于人体骨骼、肌肉等方面的知识，认为中西之学各有所长，尝言西医“详于质测而拙于言通几”，故引用汤若望之《主制群征》中西医之解剖学，介绍于国人，但剔除了传教士所说的“全能的上帝创造世界”之类的内容。他自己对于传统医学也素有研究，撰有多种医学著作。遗憾的是这些著作传世不多，我们难以窥其全貌。方以智可视为我国早期汇通思想医家之一，于我国近代医学发展史上有一定影响。
方以智一生著述很多，计有一百余种。其中最为流行的是《通雅》和《物理小识》，前者是综合性的名词汇编书，后者是一部笔记，他的科学见解主要集中在这部书中。他的后期代表作是《药地炮庄》和《东西均》，均为哲学著作，书中提出了一些很重要的哲学命题。他的著作中另外比较重要的还有《浮山文集》、《博依集》、《易余》、《一贯问答》、《切韵源流》、《流寓草》、《周易图象几表》、《性故》、《学易纲宗》、《诸子燔痏》、《四韵定本》、《内经经络》、《医学会通》等。现存共二十余种。
方以智其学博涉多通，自负要把古今中外的知识熔于一炉，发明千古不决的道理，是明清之际的一位有进步社会思想和唯物主义观点的哲学家。所著《东西均》中提出“一而二，二而一”的命题，概括事物的矛盾和矛盾运动，认为事物都是“相捄相胜而相成”，体现出唯物主义和朴素的辩证法观点。方以智对中国传统自然科学和由利玛窦、徐光启传入的西方科学作了记述、考辨，把整个科学技术按其对象，区分为“质测”（自然科学）、“宰理”（社会科学）和“道几”（哲学）三大类。他还立志邀集专家编译综合百科全书，但这个宏愿未得实现。
方以智是安庆府桐城县凤仪里（今桐城市区）人，出身士大夫家庭。方氏是桐城地区这一时期主要的世族。曾祖父方学渐，精通医学、理学，并且能学习诸子百家，融会贯通，自成体系 ，除记录赴东林讲学的《东游记》外，著有《易蠡》、《性善绎》、《桐夷》、《迩训》、《桐川语》等。祖父方大镇在万历年间，曾任大理寺左少卿，著有《易意》、《诗意》、《礼说》、《永思录》、《幽忠录》等数百卷。因方学渐曾受学于泰州学派的耿定理，《明儒学案》把他列入《泰州学案》。外祖父吴应宾，精通释儒，著有《学易全集》、《学庸释论》、《宗一圣论》、《三一斋稿》等。父亲方孔炤，万历四十四年进士，崇祯朝官至湖广巡抚，通医学、地理、军事，并且较早地接触西学，主张研习经世致用的知识，著有《周易时论》、《全边略记》、《尚书世论》等有《全边略记》等著作，《明史》有传。《周易时论》被《四库提要》列入存目。这书对方以智影响很大，方一生中经常提到它。
方以智自幼秉承家学，接受儒家传统教育，他从小由母亲和姑姑一起抚养长大。姑姑方维仪是明大理少卿方大镇之女，姚孙棨之妻，少年寡居。方维仪颇有才气，是当时有名的女诗人。曾随父宦游，至四川嘉定、福建福宁、河北、京师等地，见名山大川，历京华胜地，阅西洋之书，颇长见识。除了家学，他所授业的老师亦都是当时的著名学者。白瑜，长于词赋经史，崇尚实学。王宣则专攻名物训诂和《河》、《洛》之学，治学严谨，是当时治《春秋》的大家。傅海峰则是当时的名医。另外，家中还有藏书丰富，被誉为“两间皆字海，一尽始羲皇”的稽古堂。在这样的环境中，少年时代的方以智受到了浓厚学术氛围的熏陶。由于其祖辈都直接或间接同东林党有关系。他从小也养成了关心时世的习惯。十四岁时，曾徒步到数百里外的考场参加会试，以此来磨炼意志。
成年后，方以智载书泛游江淮吴越间，遍访藏书大家，博览群书，四处交游，结识学友。在他的学友中有西洋传教士毕方济与汤若望，并阅西洋之书，从他们那里，方以智学习了解了西方近代自然科学，从而更加开阔了视野，丰富了学识。他认为：“今天下脊脊多事，海内之人不可不识，四方之势不可不识，山川谣俗，纷乱变故，亦不可不详也。”他曾作诗曰：“繁霜如雪孤南征，莫道能无故国情。斥抱揄方始大笑，牵牛负轭总虚名。凌云久动江湖气，杖剑时成风雨声。海内只今信寥落，龙眠山下有狂生。”表达了自己非凡的政治抱负。为谏议皇帝选贤用能，革除弊端，实行某些改革，曾写了《拟求贤诏》、《拟上求治疏》、《拟上求读书见人疏》等，决心以襄扶明朝中兴为己任。他曾在《书鹿十一传后》中表示要“挹东海之泽、洗天下之垢”。曾与张溥、陈子龙、吴伟业、陈贞慧、吴应箕、侯方域等主盟复社，裁量人物，讽议朝局，人称“四公子”，以文章誉望动天下。方以智的父亲方孔炤任湖广巡抚时被杨嗣昌弹劾下狱，方以智怀血疏讼冤，方孔炤这才得释。一时传为佳话。
崇祯十三年（1640年），三十岁的方以智中进士，选为庶吉士，有人向崇祯皇帝推荐方以智，崇祯召对德政殿，方以智“语中机要，上抚几称善”。后在京任工部观政、翰林院检讨、皇子定王和永王的讲官。
崇祯十七年（1644年），李自成农民军攻入北京，崇祯皇帝自缢，方以智在崇祯灵前痛哭，被农民军俘获，农民军对他严刑拷打，“两髁骨见”（《明史稿·方以智传》），但他始终不肯投降。不久，李自成兵败山海关，方以智侥幸乘乱南逃，大难不死。当方以智在北京誓死不降农民军之事传入江南时，友人皆把他比拟为文天祥。
方以智辗转奔向南京投奔南明弘光政权，仇敌阮大铖把持南明弘光朝政，不断受到排挤、迫害，于是不得不改名吴石公，流寓岭南、两广一带以卖药为生。不久，南明隆武帝以原官庶吉士相召，方以智不应，取名“三萍”，浪迹于珠江山水间。 顺治三年，桂王朱由榔称帝于肇庆，由于父执瞿式耗的引荐，方以智参与了拥立永历政权的活动，任左中允，少詹事，翰林院侍讲学士，方以智很快便发觉桂王政权朝不保夕，名不符实，内则门户纷争，奸人当道，外则与广州绍武政权同室操戈，兵戎相见。桂王更是胆小如鼠，稍稍闻风鹤即奔走靡常，这一切使方以智心灰意冷，后被太监王坤诬劾免职，不得不遁迹于少数民族聚居的湘、桂、粤西一带，过着“曲肱茅屋鸡同宿，举火荒村鬼作邻”的生活。
当清兵大举南下时，他曾联络东南抗清力量抵抗。1650年，清兵攻陷广西平乐，方以智被捕，清军在方以智的左边放了一件清军的官服，右边放了一把明晃晃的刀，让方以智选择。方以智毫不犹豫，立即奔到右边，表示宁死不降。满清将领相当欣赏他的气节，于是将他释放。获释后，于顺治七年，披缁为僧，改名弘智，字无可，别号大智、药地、愚者大师等。晚年定居江西庐陵青原山，自称极丸老人。康熙十年（1671年）冬，方以智为粤事牵连被捕，解往广东，途经江西万安惶恐滩头，十月七日（11月8日）因疽发卒于舟中。1972年当代美国华裔学者余英时在《方以智晚节考》认为方以智行至惶恐滩头，想起前朝文天祥事迹，自沉于江殉国。
“江边杨柳谁攀折”出自宋代方以智的《忆秦娥》，诗句共7个字，诗句拼音为：jiāng biān yáng liǔ shuí pān zhé，诗句平仄：平平平仄平平平。
