近江(現:滋賀県)に生まれる。秀吉が近江長浜城主になったころに、秀吉の家臣となった。九州征伐時の兵員物資の輸送や太閤検地の実施など、軍事面よりもむしろ経済面で才能をあらわした。 1591年には近江北部を与えられ、佐和山城を居城とした。
文禄・慶長の役においても船奉行となり兵員物資の輸送を手際良くこなしたが、加藤清正や福島正則ら最前線で戦っていた武将らと対立し、秀吉の死後は、政権を追われた。
秀吉亡き後の豊臣政権内部では、家康の勢力が増大していた。三成は、豊臣氏の支配を維持するために家康を討つことを画策し、 1600年に反徳川勢力を集めて挙兵した。両軍は関ヶ原(現:岐阜県関ヶ原町)に布陣し、半日にもおよぶ大合戦となった(関ヶ原の戦い)。兵力や布陣の状況から、西軍(三成方)が優勢だったが、三成は自軍の大名たちをまとめきれず、戦法に乱れが生じ、優勢な状況を生かせなかったといわれる。最終的には、徳川方と通じていた小早川秀秋の裏切りにあい、敗北した。
戦場から逃走し山中に隠れた三成だったが間もなくとらえられ、京都の三条河原にて処刑された。