1880（明治13）年山口県に生まれる。
明治の元勲井上馨の実姉の長女を母に持つため、井上の元で書生生活を過ごしながら、東京帝大工科大学（現・東大機械科）に進む。
卒業後、芝浦製作所に身分を明かさない条件で入社し、日給48銭の職工となる。 その後、当時の技術はすべて西欧の模倣であったため、西欧の状況を体験すべく渡米する。約1年強を可鍛鋳鉄工場で労務者として働く。 鍛造技術を習得した後、1909（明治42）年若干29歳で井上の後援により戸畑鋳物株式会社を設立。 1927（昭和2）年義弟の久原房之助率いる久原財閥の経営を引き継ぎ、中核だった久原鉱業を日本産業株式会社に改称し、
社長になるとともに。傘下の日本鉱業・日立製作所・日立電力などの管理や新事業の開拓に専念する持株会社とした。 更に戸畑鋳物を日本産業の傘下に置くと共に共同漁業（日本水産）・大阪鉄工所（日立造船）・中央火災海上(日産火災海上)・ 日本蓄音器商会(日本コロンビア)などを買収・設立した。 こうして、三井・三菱・住友に次ぐ大コンチェルン組織を作り上げたのであった。
終戦後に戦犯指定・公職追放されたが、追放解除後には一転中小企業の投資育成に傾注する様になり、 旧日産傘下の企業の出資を仰いで1952（昭和27）年に中小企業助成会（現・テクノベンチャー）を設立。 ベンチャーキャピタルの先駆けとなる。
翌年には参院選に出馬・当選して1956（昭和31）年に日本中小企業政治連盟（中政連）を結成。
政治の側から中小企業振興を図ろうとしたものの、1959（昭和34）年参院選で次男・金次郎が当時としては最大規模の選挙違反事件を起こしてしまい、 その責を取る形で親子ともども議員辞職した｡
1967（昭和42）年急性肺炎により死去。
2005（平成17）年1月に女優でタレントの杉田かおると結婚し、話題となった鮎川純太（現・テクノベンチャー社長）は孫にあたる。