Вычислите(по подробнее)
cos2a·cos3a-sin2a·sin3a

Воспользуемся формулой cos(α+β)=cos α·cos β - sin α·sin β.
В Вашем случае получается cos(2a+3a)=cos 5a