Rivayete göre Hacivat ve Karagöz, Orhan Gazi devrinde (Hükümdarlığı: 1324-1362) Bursa'da yaşamış cami yapımında çalışan iki işçidir. Kendileri çalışmadıkları gibi diğer işçilerin de çalışmasını engellemektedirler. Orhan Gazi'nin, "cami vaktinde bitmezse kelleni alırım" dediği cami mimarı, caminin vaktinde bitmemesine Karagöz ve Hacivat'ı şikayet eder. Bunun üzerine bu ikili başları kesilerek idam edilir. Karagöz ve Hacivat'ı çok seven ve ölümlerine çok üzülen Şeyh Küşteri, ölümlerinin ardından kuklalarını yaparak perde arkasından oynatmaya başlar. Bu sayede Hacivat ve Karagöz tanınır.

Türk gölge oyununun tek temsilcisi olarak kabul edilen Karagöz oyununun kökeni konusunda değişik görüşler vardır. Kimi kaynaklara göre Orta Asya'dan, İran'dan ya da Hindistan'dan batıya göç eden Çingeneler aracılığıyla Anadolu'ya gelmiştir. Bir görüşe göre Bizans, İtalya ya da Yunan kökenlidir. Türkiye'ye Portekiz ya da İspanya'dan göç eden Yahudiler aracılığıyla geldiğini savunanlar da vardır. Ancak bu görüşleri kanıtlayacak yeterli belge yoktur. Oysa Yavuz Sultan Selim döneminin güvenilir kaynaklarından İbni İlyas, gölge oyununun Türkiye'ye XVI.yy.'da Mısır'dan geldiğini ortaya koymuştur. İlk zamanlar Mısır gölge oyununun etkisi altında olan Karagözün, kesin biçimini XVII.yy.'da aldığı ve tiplemelerin de bu dönemde ortaya çıktığı öne sürülmektedir.