绍圣四年（1097年）苏东坡谪贬海南儋州，从徐闻渡琼后，曾暂寓在琼山府城近郊的金栗庵（旧址即今五公祠），并于元符三年（1100年）获释北归。海南是苏东坡谪贬经历的最后一程，在北返的渡海途中，他写下了“九死南荒吾不恨，兹游奇绝冠平生”的名句，表明自己十余年谪贬生涯的心迹。十余年兜兜转转的南国风景，绮丽了东坡先生的人生旅途，而近四年的谪琼经历，亦给海南的历史文化抹上一笔厚重，留下了许多故事给后人凭吊。

海南人民为了缅怀怀念苏东坡，便在苏东坡留有遗迹的“东坡读书处”刻立苏东坡先生的肖像。元代在此开设“东坡书院”，大书法家赵孟頫为之题匾，书院明初毁废。明万历四十五年（1617年）琼州副使戴禧在此原址上重建，改为“苏公祠”；清顺治、乾隆年间重修，光绪十五年（1889年）清雷琼道台朱采修建，扩大规模增设山门。

苏公祠坐西北朝东南，是一组由山门、苏公祠正堂和围墙组成的院落建筑。这组建筑处在整个五公祠建筑群的中心位置，是进入五公祠景区的必经之地。山门坐西北朝东南，正对着思贤牌坊，面阔三开间，砖木结构，硬山双坡顶，素面双层板筒瓦砂浆裹垄屋面。山门后檐口及次间前檐口为砖包檐，灰塑脊鸱吻以卷草、祥云为主。山门的明间为抬梁式木构架，明间在步柱的位置设一屏风，作视线遮挡。山门次间的山墙边贴为穿斗式木构架。

苏公祠正堂也是坐西北朝东南，砖木结构，硬山双坡顶，素面双层板筒瓦，砂浆裹垄屋面，面阔三间，进深三跨，明间19路瓦，次间16路瓦。正堂前廊屋檐口为绿色琉璃勾头、滴水，后屋檐为砖包檐，屋脊两端鸱吻灰塑配以卷草、祥云为主。正堂前廊全部敞开，后边实墙，简洁通透，大气舒展，具有浓郁的海南热带地域性风格。厅堂圆柱挂有楹联：“此地能开眼界，何人可配眉山”。明间为七架抬梁式木构架，次间山墙边贴为穿斗式木构架，两边山墙分别有琉璃漏空花窗。

堂内正厅供奉苏轼及其儿子苏过和学生姜唐佐的牌位。与苏轼、苏过同祀在苏公祠的姜唐佐是琼山人，认识苏东坡时还是秀才，元符二年（1099年）9月至元符三年（1100年）3月，向苏东坡学习诗文。苏东坡北归前，曾赠姜唐佐一句诗，“沧海何曾断地脉，白袍端合破天荒”，并勉励姜唐佐，日后科举致仕，必以此句为他吟诗一首。东坡归后，姜唐佐中举，成为海南历史上第一个举人。

苏东坡为中原文化在海南的传播和海南文化教育事业的发展作出了巨大的贡献，史书称谓“琼州人文之盛，实自公启之。”苏公祠的整体布局沿中轴线布置，山门、正堂及正堂中的苏公塑像和牌位都在中轴线上，逐步抬升，庄重大方，仪式感较强，体现了海南人民对于苏东坡先生的敬仰之情。山门、正堂建筑和围墙等共同围合形成庭院，庭院中原种有四棵桧柏，现仅存三棵，桧柏淡雅清幽，暗喻苏东坡的气节和品格像桧柏那样万古长青。