Istilah Pali merujuk kepada garisan-garisan atau tulisan-tulisan yang suci. Istilah merujuk kepada bahasa ini nampaknya terbit dari tradisi mengulas mengenai agama-agama atau ayat-ayat dari petikan sabda tokoh-tokoh. Ulasan-ulasan atau tafsiran mengikut bahasa tempatan dalam bentuk tulisan ini lalu diasingkan pula untuk kemudahan orang ramai.
Definisi nama asal bahasa ini mencetuskan perdebatan juga dalam kalangan sarjana dari pelbagai zaman. Ejaan untuk istilah ini dalam huruf Romawi juga berbeza sebagai contoh ia kadang-kala ditulis sebagai bahasa Pali dan kadang-kala sebagai bahasa Bali.
R. C. Childers menterjemahkan istilah 'Pali' ini sebagai 'rentetan' dan menyatakan bahawa bahasa ini turut mempunyai nama lain dalam rentetan kesempurnaannya dari segi tatabahasa. Beliau membahaskan bahawa nama sebenar atau mengikut kepada geografinya itu adalah bahasa yang dituturkan di Kerajaan Magadha atau bahasa Magadhi. Manakala istilah Pali itu bermaksud 'rentetan, barisan atau garisan'.
Penganut ajaran Buddha awal seterusnya memperkembang maksud Pali ini untuk merujuk kepada sebarisan buku. Oleh itu, bahasa Pali pun bermaksud bahasa yang digunakan untuk naskah-naskah buku yang bertulisan.
Bahasa Pali adalah merupakan bahasa jenis kesusasteraan. Ia tergolong dalam kelompok bahasa Prakrit. Pertama kali, bahasa Pali dicatitkan dalam bentuk tulisan di Sri Lanka pada awal abad sebelum masihi. Walaupun para sarjana membicarakan mengenai hal ini, namun masih wujud lagi kekeliruan mengenai kaitan antara bahasa Pali dengan Kerajaan Magadha yang kini berada dalam wilayah Bihar di Republik India.
Bahasa Pali yang merupakan bahasa pada zaman pertengahan ini berbeza pula dengan bahasa Sanskrit. Ia berbeza bukan sahaja dari segi zamannya, namun ia turut berbeza asal-usul. Bahasa Pali berasa dari bahasa yang berbentuk loghat tempatan dnegan ciri sebutan dan kosa kata yang tidak diambil terus dari bahasa Sanskrit pada zaman Rgveda. Bahasa Pali dan bahasa Sanskrit Rgveda mengalami perkembangan yang berbeza juga.
