Êàê ñîîáùèëè íàì â Èíñòèòóòå ðóññêîãî ÿçûêà èì. Â.Â. Âèíîãðàäîâà, ôðàçà ýòà èìååò áèáëåéñêîå ïðîèñõîæäåíèå. Ó åâðååâ ñóùåñòâîâàë îáû÷àé, êîãäà ëþäè, çíàÿ çà ñîáîé êàêèå-ëèáî ïðåãðåøåíèÿ, ïûòàëèñü óìèëîñòèâèòü âûñøèå ñèëû ïðèíåñåíèåì â æåðòâó êîçëà.  îäíîì ñëó÷àå ýòî æèâîòíîå çàêàëûâàëè, â äðóãîì - "âîçëîæèâ" íà íåãî âñå ãðåõè, îòïóñêàëè â ïóñòûíþ, ïîñëå ÷åãî âñå ïðèñóòñòâóþùèå ñ÷èòàëèñü î÷èùåííûìè.
Âûðàæåíèå ýòî ñåãîäíÿ èñïîëüçóåòñÿ îáû÷íî â èðîíè÷åñêîì ñìûñëå, êîãäà ïûòàþòñÿ íà êîãî-ëèáî ñâàëèòü âñþ âèíó.