Opprinnelsen til Rottweiler er ikke så godt dokumentert, derfor er selve bakgrunnen krydret med antakelser som indikerer sannsynligheten til at rasen nedstammer fra en av krøtterhund fra antikkens Roma. Denne krøtterhunden er beskrevet av ulike akkrediterte kilder om en Mastiff-type, pålitelig, robust, arbeidsvillig, høy intelligens og med et sterkt vokterinstinkt.

Overgangen fra romerks gjeterhund til hunden vi kjenner i dag som Rottweiler kan tilskrives de ambisjoner romerske keisere hadde til å erobre Europa. Svært store hærer var nødvendig for disse ekspedisjonene og logistikk for fôring av antallet menn ble en viktig faktor. Man hadde jo ingen måte å holde maten kjørlig derfor hadde man med seg kjøttet i levende tilstand. Man brukte derfor hunder som var i stand til å holde flokken samlet under den lange marsjen. Den ovenfor beskrevne "Mastiff-type" ble bemerkelsesverdig egnet til både gjeter jobben og vokte matlagrene om natten.

Den romerske hærens bevegelser varierte i omfang, men den er av interesse fant sted ca 74 e.kr. Deres rute over Alpene endte i det som nå er Sør-Tyskland. Arae Flaviae, som den nye territoriumet ble kalt, hadde et fortrinn av klima, jordsmonn, og den sentral beliggenheten. Det er mye som peker til den fryktløse romerske krøtterhunden på denne ruten fra Rom til bredden av elven Neckar spilte en en viktige rolle.

Vi har ingen grunn til å tvile på at etterkommere av de opprinnelige romerske krøtterhunden fortsatte å vokte buskapsflokkene gjennom de neste to århundrene. Rundt 260 e.kr. kastet befolkningen i Schwaben romerne fra arae Flaviae og tok over byen. Landbruk og handel med storfe forble primærnæring og videre behov for hundene.

Rundt 700 e.kr. bestilte den lokale hertugen oppføring av en kristen kirke bygget på tuftene av de tidligere romerske bad. Utgravninger avdekket de røde fliser fra romerske villaer. For å skille byen fra andre, kalte de den Das Rote Wil (De Røde Fliser), som senere ble til dagens Rottweil.

Rottweils dominans som et kultur og handelssenter økte med uforminsket styrke og midten av det 12. århundre ytterligere berømmelse og rikdom. En helt ny by med forseggjorte festningsverk ble bygget på høyder over elva. Med denne økte sikkerheten blr det økt handel hos storfe. Slaktere holdt seg til området rundt og skaffet seg flere hunder for å drive kveg trygt til og fra markedene.

Etterkommerne av den romerske krøtterhunden fortsatte som jobb som kveghund uten avbrudd frem til midten av det 19. århundre, da drivende storfe ble forbudt, og i tillegg kom eselet og jernbanen og erstattet hundevognen.

Rottweiler Metzgerhund (slakter hund), som rasen kom til å bli kalt, gikk deretter harde tider i møte. Dens funksjon hadde blitt alvorlig innskrenket og i de dager måtte hundene måtte gjøre seg tjent for å bli værene ellers var ingen grunn deres eksistens. Antallet Rottweilere falt så radikalt at det på en i utstilling i Heilbronn, Tyskland, i 1882 rapporterte bare ett dårlig eksempel av rasen stede.

Det kommer ingen ytterligere omtale av rasenfør det i 1901 ble dannet en kombinert Rottweiler og Leonberger Club. Denne klubben var kortvarig, men bemerkelsesverdig fordi den første Rottweiler standard ble skapt i regi av denne klubben.

I disse årene (1901-1907) fant man igjen en jobb som passet Rottweileren meget godt; som politihund. Flere klubber ble organisert hvor sterk uenighet rådet. I 1921 ble det enighet om å danne Allegmeiner Deutscher Rottweiler Klub (ADRK). Opptil etableringen av ADRK var 3400 Rottweilere allerede registrert i tre eller fire klubber. Alle duplikasjoner og forvirring endte med ADRK utgivelse av sin første stambok i 1924. Siden etableringen, til tross for vanskelighetene under og i etterkant av andre verdenskrig, forble ADRK intakt og gjennom sitt lederskap, opplysning og målbevisste avlsarbeid har rasen blitt fremmet både i Tyskland og i utlandet.