成语在我国由来已久，诸于百家的著作中就广泛运用成语。如“守株待兔”出自《韩非子·五蠹》，”完璧归赵“出自《史记》中的《廉颇蔺相如列传》。成语的来源是多方面的，归纳起来主要有以下几个方面。
第一类是从古代的寓言中来的。如”愚公移山“、”刻舟求剑“等成语都是从古代寓言中来的。我国先秦寓言是较丰富的，从这个时期的寓言提炼的成语就比较多。
第二类是从历史故事中来的。例如：“退避三舍”、“四面楚歌”等，每一句成语都有一个令人难以忘怀的历史典故。
第三类是从古典作品中的某些词句演变来的。例如：“一刻千金”这句成语，就出自宋代词人苏轼的《春夜》诗：“春宵一刻直（值）千金，花有清香月有阴”。“集思广益”最早出自诸葛亮《教与军师长史参军掾属》：“夫参署者，集众思、广忠益也”。以后，王夫之在《宋论·英宗》里写下“集思广益，而功不必自己立”的名句。
第四类是从民间口语中来的。例如：“信口开河”、“南腔北调”等等。