Jelsa je u 3. stoljeću prije Krista grčka naseobina, zatim ilirska pa rimska. U 7. stoljeću naseljavaju je Hrvati; oni tijekom borbi protiv Mlečana u 11. i 12. stoljeću grade strateško-vojničko utvrđenje Gradina, koje Hvarski satut iz 1331. naziva "Civitas vetus Jelsae".  Sadašnja Jelsa  potječe od ilirske naseobine Pitve koje su u srednjem vijeku napučili Neretljani i Bosanci. Spomenuti Statut je imenuje: "Fons vocata Jelsa et Portus Pitve". (Šematizam Hvarske biskupije, Hvar , 1976.) Suvremeno naselje Jelsa je nastalo nakon 14. stoljeća, pa mu se povijest može pratiti od samih početaka.

​

Od povijesnih lokaliteta i spomenika u i oko Jelse valja spomenuti Grapčevi spilju (s nalazima iz neolitskog doba),  ilirsko - grčku utvrdu Tor (vjerojatno iz IV. stoljeća), utvrđenu gradinu - kaštil Grad (Galešnik), vjerojatno iz kasnoantičkog vremena. Rimskih spomenika (villae rusticae, grobovi, natpisi...) ima obilno u Jelsi i u njenoj okolici, posebno na istočnu stranu u uvali Carkvice oko crkvice Sv. Luke, i zapadno u Jelšanskom polju prema Svirčima.

​

Naziv Jelsa dolazi, po jednoj pretpostavci, od bjelogoričnog drveta "jolhe" (jelše, jalše, johe ili jove; lat. alnus), vrste breze koja raste na zemljištu bogatom vodom, ali se slično naziva i izvor, pa i močvara, te vjerojatnije tu treba tražiti porijeklo naziva naselja.

Župa Jelsa ustanovljena je 1604. dekretom biskupa Petra Cedulina, odvojivši se od matične župe Pitve. Jubilej 400. obljetnice je slavljen 2005. godine, završno slavlje predvodio je kardinal Bozanić.