Pozwolę sobie odświeżyć temat.
Proponowałbym aby bot ignorował podstrony które zwracają header "application/pdf" bez względu na rozszerzenie w URLu.
W przypadku Joomli, dostaje takie alerty, ale tam się po prostu nie da wstawić linków, bo to podgląd PDF do druku.