запись числа 334 в некоторой системе счисления выглядит так: 1А8(N) НАЙДИТЕ ОСНОВАНИЕ СИСТЕМЫ СЧИСЛЕНИЯ N

Может вы ошиблись?  Не 334, а 344?.
Тогда получаем х^2+10х+8-344=0
находим корни уравнения: это 14 и -24. система счисления не может быть числом отрицательны. Значит остается  - 14. Это основание СС