硫酸發現于公元8世紀。**伯煉丹家賈比爾通過干餾硫酸亞鐵晶體得到硫酸。一些早期對化學有研究的人，如拉齊、賈比爾等，還寫了有關硫酸及與其相關的礦物質的分類名單；其他一些人，如伊本·西那醫師，則較為重視硫酸的種類以及它們在醫學上的價值。 [1] 

在17世紀，德國化學家Johann Rudolf Glauber將硫與硝酸鉀混合蒸汽加熱制出硫酸，在這過程中，硝酸鉀分解并氧化硫令其成為能與水混合并變為硫酸的三氧化硫（SO3）。于是，在1736年，倫敦藥劑師Joshua Ward用此方法開拓大規模的硫酸生產。

在1746年，John Roebuck則運用這個原則，開創鉛室法，以更低成本有效地大量生產硫酸。經過多番的改良后，這個方法在工業上已被采用了將近兩個世紀。 [2]  由John Roebuck創造的這個生產硫酸的方法能制造出濃度為65%的硫酸，后來，法國化學家約瑟夫·路易·蓋-呂薩克以及英國化學家John Glover將其改良，使其能制造出濃度高達78%的硫酸，可是這濃度仍不能滿足一些工業上的用途。

約翰·道爾頓在1808年繪制的早期硫酸分子圖

約翰·道爾頓在1808年繪制的早期硫酸分子圖

在18世紀初，硫酸的生產都依賴以下的方法：黃鐵礦（FeS2）被燃燒成硫酸亞鐵（FeSO4），然后再被燃燒，變為能在480℃下分解成氧化鐵以及能用以制造任何濃度硫酸的三氧化硫的硫酸鐵[Fe2(SO4)3]?？上?，此過程的龐大成本阻礙了濃硫酸的廣泛運用。 [2]  由約翰·道爾頓在1808年繪制的早期硫酸分子圖顯示了硫酸有一個位于中心的硫原子并與三個氧原子建立共價鍵，如右圖。

后來，到了1831年，英國制醋商人Peregrine Phillips想到了接觸法，能以更低成本制造出三氧化硫以及硫酸，這種方法在現今已被廣泛運用。

在古代中國，稀硫酸被稱為“綠礬油”。 在公元650～683年（唐高宗時），煉丹家孤剛子在其所著《黃帝九鼎神丹經訣》卷九中就記載著“煉石膽取精華法”，即干餾石膽（膽礬）而獲得硫酸。 [2]