Oliver Hardy, celým jménem Oliver Norvell Hardy, se narodil 18. ledna 1892 v Atlantě, Georgia, USA. Na rozdíl od Stana, nikdo z Oliverovy rodiny nebyl od kumštu. Oliver měl však talent na zpěv a tak se už jako dítě objevil poprvé na jevišti v tehdy ve Státech velmi populárních minstrel-show, což byl určitý druh kočovné revue s tancem a hudbou. Později krátce studoval práva. Roku 1910 se projevil jeho zájem o film, když si otevřel vlastní kino. Za tři roky začal na Floridě brát role statistů u newyorské společnosti Lubin. Dvanáct let pak hrál v mnoha komediích jako statista, ale objevily se i větší role. Není přesně známo v kolika filmech v té době Oliver hrál. On sám později uváděl odhadem kolem 500 filmů. Ve filmech, které se dodnes zachovaly, hrál většinou padoucha, tzv. „heavyho“. Účinkoval ve westernech, dobrodružných filmech, v pirátských filmech. Vždy byl zlý až brutální, příšerný pirát či přihlouplý policajt s pendrekem. Ačkoli mu tehdy bylo kolem dvaceti, tak hrál typy kolem čtyřicítky. V té době ho režiséři obsazovali podle jeho zjevu. Vše bylo bráno smrtelně vážně, když v jeho rolích nebyl ani náznak komiky. Často byl obsazován jako protiklad k nějakému komikovi. Jako například jeho role ve filmu s Larrym Semonem „Páté kolo u vozu“ (The Wizard of Oz), kdy Semon byl malý hubený a Ollie velký tlustý.
Roku 1923 si Ollie dokonce zahrál s Busterem Keatonem v jedné z epizod jeho prvního dlouhého filmu „Láska kvete v každém věku“ (Three Ages), kde hrál bezcitného padoucha z doby kamenné.
Oliverových komických prvků a talentu si poprvé všiml Hal Roach, který ho roku 1924 angažoval do svého filmu „Král divokých koní“ (The King of Wild Horses). Oliver jako obyčejně hrál padoucha a poprvé se zde setkal s pozdějším věčným protihráčem dvojce Laurel & Hardy Jamesem Finlaysonem.
Podobně jako Stan Laurel neměl ani Ollie ve svých ranných letech vyhraněný charakterový rys, který by jeho postavy dělal něčím typické. Nakonec se mu podařilo najít svůj styl ještě před setkáním se Stanem. Bylo to ve filmu „Crazy to Act“, kde ztvárnil roli producenta. Vznikl nový Ollie - nabubřelý maloměšťák s typickým tvrďákem na hlavě, vyžadující vždy a za všech okolností respekt, kterého se mu však nikdy nedostává a tak běsní a běsní, aby dosáhl požadovaného uznání od ostatních.
V roce 1926 byl Ollie populárním spolupracovníkem studia Hala Roucha, kde působil Stan Laurel jako režisér a gagman. Ollie byl výlučně herec. Nakonec náhoda v podobě jehněčí kýty přivedla Stana Laurela opět před kameru, aby si poprvé zahrál se svým budoucím nerozlučným filmovým partnerem Oliverem Hardym….