длина вектора a=корень из 3 , длина вектора b=6 , а длина суммы векторов a и b равна корень из 3 .Найти косинус угла между векторами a и b .

Ну для того, чтобы показать, что вы в курсе темы лучше решать через скалярное произведение векторов.
Поскольку вектор a и сумма векторов (a+b) имеют одинаковую длину, то образуют равнобедренный треугольник и для него верно равенство скалярного произведения равных сторон и вектора основания:


А вот то, что косинус угла получается по модулю больше единицы как раз и говорит о том, что подобного треугольника не существует...