O Rottweiler é uma das raças mais antigas do mundo, com origem na época dos romanos, de Aræ Flaviæ (atual sul da Alemanha), posteriormente chamada de Rotwill (Vila Vermelha, por causa dos prédios de telhados vermelhos), que com o tempo mudou para Rottweil, como hoje é conhecida.

O cachorro acabou recebendo seu nome por causa de sua cidade e de sua função: Rottweiler Metzgerhund (cão de açougueiro de Rottweil), pois foi adotado pelos açougueiros para fins de trabalho. Rottweil era um centro mercantil importante, que atraía comerciantes de longe. Estes, percebendo a qualidade do Rottweiler Metzgerhund, começaram a comprá-los, pois cães de guarda eram necessários para conduzir o gado e proteger o dinheiro arrecadado, que era amarrado à coleira deles.
Porém, em meados de 1800, a popularidade do Rottweiler decresceu até chegar quase à extinção. A renovação do interesse aconteceu em cidades do norte da Alemanha, baseado no trabalho de guarda, sendo oficialmente reconhecido como cão policial em 1910.

Em 1921, foi fundado o Clube Geral do Rottweiler (Allgemeiner Deutscher Rottweiler Klub - ADRK), que hoje supervisiona toda a criação na Alemanha. No Brasil, o Rottweiler foi introduzido em 1967, em São Paulo, com um macho que não acasalou e a criação oficial começou em 1972, no Rio de Janeiro.