во втором уравнении точно написано -2y^2 ?
6x^2-12y^2=xy;  6(x^2-2y^2)=xy;  {36(x^2-2y^2)^2=x^2y^2;    {36(17-4y^2)^2=(17-2y^2)*y^2
                                                       {x^2=17-2y^2                       {x^2=17-2y^2

y^2=t;  36*(17-4t)^2=(17-2t) *t; Дальше сами. Там числа большие.
2-ой способ. Можно и подстановкой решатьх=+-корень(17-2y^2)  

может +?

минус) я тоже хотел, чтобы было +, так бы все решилось, но там - ;D

И не холодно! Помните откуда?