Простой пример на упрощение выражения.
Очень надо проверить свой ответ, потому что photomath что-то мудрит...

(a²*2ab²-10*0,2a²b³)/(2a²b²√a+2a²b²√-b)=(2a³b²-2a²b³)/(2a²b²√a+2a²b²√-b)=
=2a²b²(a-b)/2a²b²(√a+√-b)=(√a-√-b)(√a+√(-b)/(√a+√-b)=√a-√-b

При a = 0 и b = 0 получается √a - √-b = 0 ?

автор указал: Вообще, выражение корректно только при a > 0 & b < 0.

когда задание "упростить", предполагается, что
входящие в выражение корни имеют смысл...
основная формула: √(a²) = |a|
самые интересные корни -в знаменателе...
из √(4a⁵b⁴) следует, что a --число неотрицательное... a≥0
√(4a⁵b⁴) = 2a²b²√a 
из √(-a⁴b⁵) следует, что b --число неположительное...b≤0
√(-a⁴b⁵) = a²b²√(-b) 
Ответ: (√a) - √(-b)