枯山水出现在中国的禅宗思想传入日本后，早年多在禅寺庭院，它强调一种寂静，幽玄的氛围，以巨石、白砂等构成人工景观，抽象写意的造园手法，以景藏禅，形成了特有的日本庭院美学。日本西芳寺、妙心寺、龙安寺、东福寺等许多寺院里都有精彩的石庭。

没有池子和细流，却称为“山水”，可见对水的热爱。热爱水却不用真水，而是用石头、砂石营造出水的波纹，对水的譬喻和想象成为枯山水的精彩和独特之处，也是枯山水形成独特美学风格的基础。

在日本，造庭的设计师即“庭者”，梦窗疏石是其中一位较有影响力的造庭者。他在著作《梦中问答》一书中分析了三类山水庭院爱好者，第一类人把山水庭院作为装饰。第二类人模仿白乐天诗中的庭院，寄情山水庭石养心性。第三类人视山河大地草木瓦石为心中之物，以此作为自己求佛之心。白乐天的诗以禅著名，在日本也颇有影响，“行立与坐卧，中怀澹无营。”“云有过去师，坐得无生禅。号为定心石，长老世相传。”“看山尽日坐，枕帙移时睡。谁能从我游，使君心无事。”他对于庭院的描述与日本枯山水确有相似之处：“危石叠四五，磊嵬欹且刓。造物者何意，堆在岩东偏。冷滑无人迹，苔点如花笺。”但在梦窗的眼里，仿乐天的庭院还不是最高境界，更高的是第三类即心中的庭院，这境界正如著名的六祖公案“心似明镜台”与“本来无一物”高下立分。

日本禅师道元在《正法眼藏》“山水经”中写道：山水为古佛现成，便把山水置于极高的禅境里。道元认为山水并不分指山和水的形态，而是山水合一。这种山水观与枯山水的形成是一致的。水并不指物理的水的质感，而是水的意向，有水而成山，山水互相映衬彼此成就。枯山水中的巨石大多形态普通，不像中国的太湖石等各种名石一样瘦漏皱透，石头的形态自身便有百看不厌的文人美感。枯山之普通，与周围环绕的水纹却能互相映衬，却显出石如山般古拙味稳定感，正如同古佛现成一般，形成了一个自成一体的小宇宙。

​园林是一个微缩的山水世界，它反映了某种时空秩序和人地关系，无论是中国的江南园林，还是日本的枯山水，空间的景致、相对的空间关系、观看角度的背后都是一种人与宇宙的交互方式。中国园林以游观为主，正如中国山水画，在方寸之间展现了平远、高远、深远的小山水世界。曲径之深是中国园林的微妙之处，一种只有进去才能体会的经验。移步换景，借景漏景，廊道亭台、假山盆景、花卉绿植，造园手法之多，景致之幽美令人目不暇接，是一种极致丰富的感受。譬如《牡丹亭》里的园林“有亭台六七座，秋千一两架。绕的流觞曲水，面着太湖山石。名花异草，委实华丽……”丰富的景和物扰乱人心，于是一次春日游园便唤起了一个闺阁少女满怀的人生感悟和惆怅，唯恐自己“虚度青春，光阴如过隙”。

而枯山水却是完全相反的造园和观赏方式。从造庭手法上，石庭的组织精简了造园的物件。不同于一般园林以愉悦的观看和深入的游览为目标，枯山水适应和尚僧侣们的苦行生活，不用虚华和转瞬即逝的花朵，多以简朴的巨石、常青树、苔藓、沙地、砾石等极少材质来体现山川、湖海关系，满足教徒们的修行观想。

这也形成了枯山水的对于季节的模糊化处理。不同于中国的园林中欣欣向荣的生命感，枯山水通过简化和抽象化处理，以无生命的石作庭，无季节区分的苔藓、常青树为植被，将季节的变化减至极致，青灯古佛石庭，形成了一个不变的禅境。