小乘的梵文是 Hinayaana 由 Hina (小) 與 yaana(乘)兩字所組成。 Hina 在梵文中是一貶抑的字眼,根據Apte 的 The Practical Sanskrit- English Dictionary 中的定義,此字意為 deficient,less,lower, base。因此可知,沒有一個佛教教派會自稱自己的教義是「小乘」;必然是以「大乘」自居的教派出現之後,才把敵對的教義稱為「小乘」。
大乘佛教是從傳統的部派佛教中發展出來一支教派,但它自認其教義比傳統佛教優越,所以稱呼傳統的部派佛教為「小乘」。現代許多學者仍沿用「小乘」來指稱大乘未出現以前的十八個主要的佛教部派,特別指其中兩個最強大的教派,南傳上座部( Theravaadins )和一切有部(Sarvaastivaadins )。 用 yaana 做教派的區分也始於大乘佛教徒;傳統的佛教用 nikaaya (部派)作教派區分。yaana 原是印度非佛教宗教用來說明不同解脫之道的字眼。這個字被一批自認所持的教義高於傳統教義的佛教徒借用,於是有「大乘」與「小乘」之分。但是這批自命教義比傳統教義優秀,自稱為「大乘」的佛教徒,何時開始在印度出現,是一很難回答的問題。