九十六世信海が書きました寺伝『都幾山慈光寺実録』によりますと、天武天皇の二年（六七三年）癸酉、僧慈訓が当山に登り慈光老翁の委嘱を受け、千手観音堂を建て、観音霊場として開基しました。
その頃、役小角が伊豆の国に配流となり、関東を歴遊して当山に至り、西蔵坊を設け修験道場としました。

奈良時代になりまして、唐より波濤を越えて来朝しました鑑真和上の高弟、釈道忠によって、慈光寺は創建されました。道忠は、仏法を広めるため東国を巡錫しましたが、徳望篤く利生に努めましたので、民衆より広恵菩薩と敬称されました。道忠は、当山に仏像を建て、一尺六丈の釈迦如来像を安置し、一山学生修学の大講堂としました。

平安時代になりますと、伝教大師最澄が比叡山に天台宗を開教しましたが、その折には道忠教団によって二千余巻の経典が奉納されたと『叡山大師伝』に記されております。

桓武天皇の延暦二年（七八三年）、伝教大師により天台密教の教旨が当山に弘通されました。その後は、台密の教法を修学する学徒と役小角の流れをくむ行徒二派が修行する女人禁制の道場として、また千手観音の霊場として栄えました。特に清和天皇には、天台別院として「一乗法華院」の勅額を賜りました。

貞観十三年（八七一年）には上野国大目安部小水麻呂（こうずけのくにだいさかんあべのおみずまろ）が、「大般若経」六百巻を書写し、当山に奉納しました。これは、筆跡優れた古写経として、国の重要文化財に指定されて現存しております。