Abercrombie & Fitch blev grundlagt i 1892 af David Abercrombie, der startede med at sælge jagt- og fritidstøj. Det var hans kærlighed til naturen, der inspirerede ham til at starte. Hans kundekreds bestod hovedsageligt af professionelle jægere, opdagelsesrejsende og fritidsjægere. Og så en mand ved navn Esra Fitch. Ezra Fitch var en succesrig advokat i Kingston, New York. Han blev hurtigt en af ​​David Abercrombies mest dedikerede kunder. Så hengiven, at han i 1900 fik overbevist David Abercrombie om at lade sig købe ind i virksomheden og blive partner. I 1904 blev navnet officielt ændret til Abercrombie & Fitch.