Ну хоть по этой ссылке, первое что попалось:
http://www.nsu.ru/fractals/fractals.chat.ru/math.htm Поиск по словам "Хаусдорфова размерность" или "фракталы". Это и в учебниках есть, например по моему Колмогоров и Фомин, Курс функционального анализа. Можно и свое придумать наверное, область не столь устоявшаяся.