施肩吾游历了道教的许多洞天福地，“访道寻真，求师择友”，在他的诗中，天台山、四明山、天柱山、王屋山、罗浮山等地，都是他景仰的道教名山，其中洪州的西山（在今江西南昌市新建县境内），是道教十二洞天之一，这里曾经是他长期隐居、学道炼丹之处。据施肩吾自叙，他在唐文宗开成三年戊午岁（838年），自其故乡入居洪州西山（注：《全唐文》卷739；以下凡未注明出处的引文，均出自《全唐文》。），潜心学道，钻研道教经典，“览仙经之万卷”。且看他的《西山静中吟》诗：
    “重重道气结成神，玉阙金堂逐日新。
    若数西山得道者，连余便是十三人。”
    施肩吾在洪州西山学道求仙的举动，曾得到徐凝等的钦敬，徐有《回施先辈见寄新诗二首》：“九幽仙子西山巷，读了绦绳系又开，此卷玉清宫里少，曾寻真诰读诗来”。“紫河车里丹成也，皂夹枝头早晚飞，料得仙宫列仙籍，如君进士出身稀。”像施肩吾这样已考中进士，却放弃功名，出家学道，“修天爵而弃人爵”，的确是很少见的。
    施肩吾来到洪州西山学道，已过中年，他在寄给徐凝的信中说：“仆虽幸忝成名，自知命薄，遂栖心玄门，养性林壑，赖先圣扶植，虽年迫迟暮，幸免龙钟，观其所得，如此而已（注：《全唐文》卷739；以下凡未注明出处的引文，均出自《全唐文》。）。他在西山学道，曾经热衷于于炼丹，他写的《洗丹砂词》说：“千淘万洗紫光攒、夜火莹莹照玉盘，恐是麻姑残米粒，不曾将与世人看”。唐朝的好几位皇帝，都大力提倡崇尚道教，有的为了长生不老，吃了道士炼的金丹，结果中毒而死。特别是唐武宗在会昌六年（846年），服道士的金丹而丧命，许多道土因此受到连累和打击，如罗浮山人轩辕集等方士纷纷被流放岭南。这对施肩吾是一个现实的教训，他为此感到惶惑，在其《自述》中写道：“箧贮灵砂日日看，欲成仙法脱身难。不知谁向交州去，为谢罗浮葛长官。”
    施肩吾离开洪州西山、渡海迁居到澎湖的时间，我推断是在唐宣宗大中初年。因为宣宗一即位，便恢复在武宗时遭到禁止的佛教，压抑道教，一些有名的道士均受到迫害。施肩吾自号栖真子，当时在道教徒中是一个颇有影响的知名人物，道教徒称他为华阳真人。施肩吾在西山曾大力整理和编纂道教著作，著有《西山群仙会真记》、《太白经》、《黄帝阴符经解》、《钟吕传道集》等。他的诗集中赠给各处道士炼师的诗篇比比皆是，甚至他的家族中的老翁和女子，也有跟他学道求仙的。他有《赠族权处士》诗：“我家名士已无求，若见翔鸿便举头。……定是仙山足灵药，年过八十转风流。”（《全唐诗外编》转引《严陵集》）。又如他写的《赠施仙姑》诗：“缥缈吾家一女仙，冰容虽小不知年。有时频夜看明月，心在嫦娥几案边”。施肩吾的家族中，还有一部分人曾随他信仰道教，并一同渡海到澎湖求仙的。施在西山修道时，早已向往道家传说的海上蓬瀛仙境，他在《西山群仙会真记序》中说：“若论道而超脱者，西山十余人耳……继仆以出尘寰，同作蓬瀛之侣……”。施眉吾在诗中写道：“天边有仙药，为我补三关。”澎湖等沿海岛屿历来为道家方士向往的“方壶”仙岛。“海中大岛屿，若会稽之东翁洲、亶洲、纻屿”，“上皆生芝草，可以避大兵大难”（《抱朴子金丹篇》）。
    施肩吾在道士遭流放的政治压力下，离开洪州西山，他率领族人渡过了海峡，抵达澎湖。除了上面所举的《岛夷行》一诗之外，还可再举他写的《海边远望》一首：“扶桑枝边红皎皎，天鸡一声四溟晓，偶看仙女上青天，鸾鹤无多采云少。”诗人在东海海边所写的远望破晓日出，与他向海上求仙思想紧密相关，可在雾蒙蒙的澎湖海边，很难看到内地的鸾鹤一类的鸟。他的《晓光词》、《望晓词》都是描写东海隅望日出的景象。
    有的文献说，施肩吾终隐于洪州西山（如《历世真仙体道通鉴》所载）。诚然，在洪州西山有施仙岩，相传是施肩吾学道炼丹的地方；岩西一里许的芭蕉源还有他读书的旧址，肩吾曾手植老柏于其处（注：《西山志》新建欧阳桂康熙年间刻本。）。但是在洪州西山并无施肩吾的冢墓，当地“莫知其所终”，传说他成仙而去。施肩吾的晚年离开了洪州，也没有回到故乡睦州分水，其同乡好友徐凝等人的诗文中，亦未提到他的死与埋葬处所。
    值得注意的是，《西山志》（在今南昌新建县）记载唐代文人在洪州西山隐居的，有施肩吾、陈陶、欧阳持，号称“三逸”。从他们三人生活的时代来看，应当是先后来到西山的，施肩吾是中唐时的诗人与道士，陈陶是晚唐时的道士和诗人，而欧阳持则是唐天复中（901-903年）的进士，生活在唐末与五代的交替期（注：清同治时修《高安县志》卷28。）。
    方干《哭江西处士陈陶》诗，说陈陶“寿尽天年命不通，钓溪吟月便成翁”。方干一生科举不第，死于咸通末年（注：《唐才子传》方干小传。），则陈陶的死应在咸通末年（873年）以前。既然陈陶死时已是一个“寿尽天年”的老翁，按中国古代“人生七十古来稀”的年龄估算，陈陶约生活在公元800年至870年之间。而且，可信的记载是：陈陶字嵩伯，唐武宗宣宗时，自称“三教布衣”，好游学，宣宗大中年间（847-859年）避乱入洪州西山，隐居做道士，著有《癖书》十卷（注：见孙光宪《北梦琐言》卷五“陈陶癖书”条，孙光宪是唐末至五代时人，距陈陶年代近，他的记载较可靠；且《唐才子传》陈陶小传也说他是“大中中，避乱入洪州西山”；又见《鄱阳县志》（道光时修）卷22。）。又据《通鉴》记载，大中十二年（公元858）南方诸军镇“乱”，洪州也暴发了都将毛鹤的起义，赶跑了江西观察使郑宪。陈陶于此时逃入洪州西山已是六十岁左右的人了；而与他同时的诗友方干是睦州人，是徐凝的学生，因此陈陶与方干都要比徐凝、施肩吾晚一辈。施、徐、方、陶都是诗人，流传下来的诗篇均不少，但是却没有看到陈陶写给施肩吾的诗，如果陈陶、施肩吾二人是同时在洪州西山做道士，是会有诗篇酬酢往来的。这就从侧面证实了施肩吾离开洪州西山、迁往澎湖的时间是在太中初年，距太中末陈陶避“乱”逃入西山的时间要早十年。施肩吾去澎湖时已近高年，《唐诗谈丛》卷四也说他是长寿的人。