解:∵原方程的齐次方程是y"-y'-12y=0,则特征方程是r²-r-12=0,特征根是r1=-3,r2=4
∴原方程的基本解组是 x1=e^(-3x),x2=e^(4x),则e^(3x)不在基本解组中
又∵原方程的xe^(3x)中x是一次多项式,即特解关于x的多项式最高次数只能是1
∴原方程的特解形式必是 y=(ax+b)e^(3x)
故应该选择B.(ax+b)e^(3x)。
说明:把y=(ax+b)e^(3x)代入原方程,得 a=-1/6,b=-5/36,即此特解是 y=-(6x+5)e^(3x)/36。