При каких значениях λ матрица А не имеет обратной
А = |λ 4 1|
|2 5 -1|
|1 λ 1|

Матрица не имеет обратной, если определитель = 0
Считаем определитель
Лямбду буду записывать как x, для удобства.
x*(5*1-(-1)*x) -4*(2*1-(-1)) + 1* (2*x-5*1) = 
x*5+x^2 -4*3+2x-5 = x^2+7x-17 
Приравниваем это всё к 0.
x^2+7x-17 = 0
Д=49+4*17=117
x1=
x2=
По идее так. Если, конечно, не напортачила в расчетах.
В любом случае идея решения должна быть понятна ;)