-3 arcctg(корень -3) - 5 arctg(корень -3)=

Наверное, не (корень -3), а -(корень 3).
Тогда:
-3·arcctg(-√3) - 5·arctg(-√3)= -3·150°-5·300°=450°+1500°=1950°=150°±n·360°=5π/6±n·2π