Что в математике обозначают квадратные скобки( [ ...] ) ?

Смотря что в скобках:

одно число - целая часть числа ([2,3]=2, [3,9]=3, [-1,5]=-1);

два числа - отрезок числовой прямой - интервал (промежуток), заключенный между двумя числами, включая эти числа ([0; 2,3])