Конечно, разным математическим объектам можно как-то сопоставлять числа (см. вопрос Анатолия).
Я все-таки имел ввиду малость иное. Число есть непроявленная идея в чистом виде. Элементарный объект - кирпичик, так сказать. Такая же идея, только неизмеримо более сложная создала нашу Вселенную.