Нужно решить при помощи квадратного уравнения.

x ·y =4500,где х- ширина прямоугольника, а у-длина.
Когда отпилили, длина прямоугольника 120, а сторона квадрата( у-120)
Площадь прямоугольника(4500) это сумма площадей квадрата(у-120)·(у-120) и прямоугольника (120·(у-120)):
(у-120)·(у-120)+120·(у-120)=4500
у²-120у-120у+120²+120у-120²=4500
у²-120у-4500=0
D=b²-4ac=14400+4·4500=32400
√32400=180
y₁=150
y₂=-30
Сторона квадрата равна 150-120=30