
设a=tanα,b=tanβ ,c=tanγ,α,β ,γ ∈(0,π/2),
则p=2(cosα)^2-2(cosβ )^2+3(cosγ)^2
=cos2α-cos2β+ 3(cosγ)^2=2sin(α+β)sin(β-α)+3(cosγ)^2.
由abc+a+c=b
得b=(a+c)/(1-ac)
即tanβ=(tanα+tanγ)/(1-tanαtanγ)=tan(α+γ),
又α,β ,γ ∈(0,π/2),
所以β=α+γ,β-α=γ,
p=2sin(α+β)sin(β-α)+3(cosγ)^2
=2sin(α+β)sinγ+3(cosγ)^2
≤2 sinγ+3(cosγ)^2
=10/3-3(sinγ-1/3)^2
≤10/3(α+β=π/2, sinγ=1/3时取等号.)
所以P=2/(a^2+1)-2/(b^2+1)+3/(c^2+1)的最大值为10/3. 我什么都不知道