Дано стороны прямоугольника А В, и радиус окружности R,
Как проверить поместится ли прямоугольник в окружности?

Прямоугольник поместится в окружности, если его диагональ меньше диаметра окружности.
Поэтому нужно проверить:
If sqrt(A*A + B*B) <= 2*R Then Print "поместится"
If sqrt(A*A + B*B) > 2*R Then Print "не поместится"
Или в одну строку
If sqrt(A*A + B*B) <= 2*R Then Print "поместится" Else Print "не поместится"
Заметьте, я написал А*А и В*В вместо A^2 и B^2, потому что операцию умножения компьютер делает намного быстрее, чем возведение в степень.