La série débute après l'attentat perpétré contre un agent du KGB, une fusillade éclate entre la police et le criminel. Un des policiers, Michael, est tué mais son chien Rex est sauf. Rex déprime sans son maître et refuse de s'alimenter au chenil, il s'échappe pour aller sur la tombe de Michael. Un certain Richard Moser, nouveau à la Police Criminelle, qui enquête sur l'affaire le rencontre et il décide de le garder... .. Au fil des épisodes, Rex met en scène une unité de police criminelle à Vienne puis Rome et notamment le duo infaillible d'un inspecteur et de son berger allemand, Rex