如图，存在两种情况
①见左图
设∠BOC=α（0＜α＜60°）
那么，AD=BC=R*sinα；OB=R*cosα
而，OA/AD=cot60°=√3/3
所以，OA=(√3/3)AD=(√3/3)*R*sinα
则，AB=OB-OA=Rcosα-(√3/3)Rsinα
所以，S矩形ABCD=AB*BC=R*[cosα-(√3/3)sinα]*R*sinα
=R^2*[sinαcosα-(√3/3)sin^2 α]
=R^2*[(1/2)sin2α-(√3/3)*(1-cos2α)/2]
=R^2*[(1/2)sin2α+(√3/6)cosα-(√3/6)]
令f(α)=(1/2)sin2α+(√3/6)cosα=(√3/3)*[(√3/2)sin2α+(1/2)cos2α]
=(√3/3)sin[2α+(π/6)]
所以，当2α+(π/6)=π/2时，f(α)有最大值=√3/3
此时：α=π/6
所以，S有最大值=(√3/6)R^2
②见右图
设OA=2x（0＜x＜R/2）
由对称性知，OE⊥AD，OE⊥BC
△OAD为等边三角形
所以，AD=BC=2x
那么，CE=x
由勾股定理得：OE=√(R^2-x^2)
而，OF=√3x
所以，EF=OE-OF=√(R^2-x^2)-√3x
所以，S矩形ABCD=AB*BC=EF*BC=[√(R^2-x^2)-√3x]*2x
令x=Rsinθ（θ∈(0,π/6)）
则，S矩形ABCD=(Rcosθ-√3Rsinθ)*2Rsinθ
=2R^2*(sinθcosθ-√3sin^2 θ)
=2R^2*[(1/2)sin2θ-(√3/2)(1-cos2θ)]
=2R^2*[sin(2θ+π/3)-(√3/2)]
则，当θ=π/12时，S矩形有最大值=(2-√3)R^2
对照两个结果可以发现，S矩形ABCD的最大值=(√3/6)R^2
