Gersdorff blev født i Norge i 1651. Han var søn af chefen for Trondhjemske Infanteriregiment, Christopher Gersdorff, i hvis regiment han tjente som Fændrik. Senere gik han i spansk og hollandsk tjeneste, men vendte hjem og deltog i felttoget i Skåne i 1677.

1678 udnævnt til major og oberstløjtnant. Ved fredslutningen i 1679 fik han sin rank reduceret, men blev igen udnævnt til oberstløjtnant i 1680 og i 1684 til oberst og regimentschef. 1693 udnævnt til brigadér og i 1699 til generalmajor. I 1700 blev han inspektør over infanteriet i Jylland og på Fyn.

I 1703 blev han udnævnt til næstkommanderende ved det hjælpekorps som Frederik d. IV udlånte til den østrigske Kejser som hjælp i den Spanske Arvefølgekrig. Han deltog i felttogene i Italien og Ungarn, og fik æren for sejren ved Szibo i Ungarn i 1705. Han overtog to gange midlertidig kommandoen over korpset, da de kommanderende generaler, Harboe og Ahlefeldt-Laurvig afgik ved døden.

I 1708 udnævntes han til Generalløjtnant og blev endelig chef for korpset. Det deltog i et kortvarigt felttog i Ungarn i 1709, før han vendte hjem til Danmark med korpset. Samme år førte han Avantgarden, der gik i land i Skåne, men blev så udkommanderet til det hjælpekorps der stod i Flandern. Her deltog han som næstkommanderende i felttogene indtil 1714, hvor han vendte hjem til Danmark med den del af korpset der stod i Holland.

Her endte hans militære karriere, og han blev Gehejmeråd.