山地を形成する中新世〜鮮新世の地層は、盆地の南西側から盆地東側にかけての山地には中新世前期〜中期の軽石凝灰岩および凝灰質砂岩主体となる吉野層が分布し、これとほぼ同時期の流紋岩類がする。奥羽山地稜線部には蔵王をはじめとする第四紀火山岩が分布しているが、これらの火山岩が盆地縁にまで到達しているのは山形市南部から上山市東部にかけての地域のみである。

盆地中央部西側には中新世中期から鮮新世にかけて銀山層、本郷層、深沢層などの地層が分布している。これらの地層は凝灰岩・凝灰質砂岩や泥岩・礫岩などがら構成されている。盆地南西側の山地には白鷹山付近に火山岩類が分布し一部が盆地内まで到達している。

盆地北部には鮮新世から更新世前期の大谷層、折渡層、北山層が分布する。これらの地層は砂礫・凝灰質砂層・亜炭などを含む。盆地北西側の山地には、流紋岩などの貫入岩や葉山火山の火山岩類なども分布する。最も北側に位置する尾花沢盆地にもこれらの地層が分布している。

盆地内では扇状地や沖積低地が広く分布するため基盤岩の露出は少ない。特に、村山市以南の地域では縁辺部を除いて扇状地を構成する砂礫層が分布し、主要河川沿いでは巨礫を含む砂礫層が分布する。

盆地全体の地質構造は南北性の背斜・向斜構造が見られ地層は南から北に向かって順次新しい時代の堆積物へ移化していく傾向を示している。盆地内の構造は不明な点が多いが、盆地南部に負の重力異常の中心が見られ盆地北部と尾花沢盆地の間は尾根状の等重力線が示されている（図２−２）。