在人类历史上，认识和使用小数比分数晚得多，最早认识小数的是我国魏晋时期的数学家刘徽。公元3世纪，他在《九章算术注》的《少广章》中的“开方术”中说：“微数无名者以为分子，其一退以十为母，其再退以百为母，退之弥下、其分弥细……”，他的意思是说“在开平方求无理根的近似值时，得到方根的整数值以后，继依法开求出微数”，这里的“微数”就是指小数。
最早提出小数的名称的，是我国元代数学家朱世杰（约生活于公元13至14世纪）。同在元代的刘瑾（约1300年）在《律吕成书》中，用降低一行的方法来表示小数部分，这是世界上最早的小数表示方法，这种记法后来传到了中亚和欧洲。1420年，伊朗数学家阿尔・卡西在写小数时，把小数部分写得略小于整数部分，例如把2008.16写成200816。16世纪，德国数学家鲁道夫用一条竖线来隔开整数部分和小数部分，比如把28.5写成28 5。17世纪，英国数学家耐普尔采用一个逗号“，”来作为整数部分和小数部分的分界点，比如3．6记作3，6。这种表示法很容易和文字中的逗号相混淆。17世纪后期，印度数学家研究小数时，首先使用小圆点“· ”来隔开整数部分和小数部分，直到这个时候，小数点才算真正诞生了。
从刘徽发明小数的思想来看，是按照整数的计数原则，将小于1的数也用类似于整数的形式表达出来。对此，20世纪知名数学家柯朗（Richard Courant）进行了更深刻的阐述：“把一个单位区间分成10，然后100、1000等等个相等的线段，这样得到的点对应着十进位小数。”由此可见，小数的本质是整数的延续，都是十进制数。也就是说，以1为基本单位，向大小两个方向延伸得到整数和小数：单位1向大的方向延伸，10个一构成十，10个十构成百，10个百构成千，……单位1向小的方向延伸，把1平均分成10份，一份就是0.1（相当于十分之一），再把0.1平均分成10份，一份就是0.01（相当于百分之一），……
