Diketahui fungsi f(x)=x^2, g(x)=(x+1)/x, dan

h(x) = 1/x (dengan asumsi typo pada soal)

Pembahasan

Diketahui fungsi f(x)=x^2, g(x)=(x+1)/x, dan (fogoh)(x)=(x+1)/x^2. Kita perlu mencari rumus h(x). 
(fogoh)(x) berarti f(g(h(x))). 
Misalkan h(x) = y. Maka (fogoh)(x) = f(g(y)).
 f(g(y)) = f((y+1)/y) = ((y+1)/y)^2 = (y^2+2y+1)/y^2. 
Kita tahu bahwa (fogoh)(x) = (x+1)/x^2. 
Jadi, kita punya persamaan: ((h(x))^2 + 2h(x) + 1) / (h(x))^2 = (x+1)/x^2. Ini tidak langsung memberikan hasil yang jelas untuk h(x). 
Mari kita coba pendekatan lain. 
(fogoh)(x) = f(g(h(x)))
Kita tahu g(x) = (x+1)/x = 1 + 1/x.
Dan f(x) = x^2.
Jadi, f(g(x)) = (g(x))^2 = ((x+1)/x)^2.
Sekarang, (fogoh)(x) = f(g(h(x))) = (g(h(x)))^2 = (((h(x)+1)/h(x)))^2.
Kita diberikan (fogoh)(x) = (x+1)/x^2.
Jadi, (((h(x)+1)/h(x)))^2 = (x+1)/x^2.
Ambil akar kuadrat dari kedua sisi: (h(x)+1)/h(x) = sqrt((x+1)/x^2) = sqrt(x+1)/x.
1 + 1/h(x) = sqrt(x+1)/x.
1/h(x) = sqrt(x+1)/x - 1 = (sqrt(x+1) - x)/x.
h(x) = x / (sqrt(x+1) - x).
Untuk merasionalkan penyebutnya, kalikan dengan konjugatnya:
h(x) = x * (sqrt(x+1) + x) / ((sqrt(x+1) - x)(sqrt(x+1) + x))
h(x) = x(sqrt(x+1) + x) / (x+1 - x^2).
Ada kesalahan dalam pemikiran awal. Mari kita periksa kembali.
Diketahui:
f(x) = x^2
g(x) = (x+1)/x
(fogoh)(x) = (x+1)/x^2

(fogoh)(x) = f(g(h(x)))
Misalkan h(x) = y
f(g(y)) = f((y+1)/y) = ((y+1)/y)^2 = (y^2+2y+1)/y^2

Jadi, ((h(x))^2 + 2h(x) + 1) / (h(x))^2 = (x+1)/x^2
Ini masih rumit. Mari kita coba substitusi langsung.
Jika kita coba h(x) = 1/x:
 g(h(x)) = g(1/x) = (1/x + 1) / (1/x) = ( (1+x)/x ) / (1/x) = 1+x.
f(g(h(x))) = f(1+x) = (1+x)^2 = 1 + 2x + x^2.
Ini bukan (x+1)/x^2.

Jika kita coba h(x) = 1/x^2:
 g(h(x)) = g(1/x^2) = (1/x^2 + 1) / (1/x^2) = ( (1+x^2)/x^2 ) / (1/x^2) = 1+x^2.
f(g(h(x))) = f(1+x^2) = (1+x^2)^2 = 1 + 2x^2 + x^4.
Ini juga bukan (x+1)/x^2.

Jika kita coba h(x) = x:
 g(h(x)) = g(x) = (x+1)/x.
f(g(h(x))) = f((x+1)/x) = ((x+1)/x)^2 = (x^2+2x+1)/x^2.
Ini juga bukan (x+1)/x^2.

Mari kita lihat bentuk (fogoh)(x) = (x+1)/x^2.
Ini bisa ditulis sebagai (x/x^2) + (1/x^2) = 1/x + 1/x^2.

Kita punya:
f(x) = x^2
g(x) = 1 + 1/x

(fogoh)(x) = f(g(h(x))) = (g(h(x)))^2 = (1 + 1/h(x))^2.
Kita ingin (1 + 1/h(x))^2 = 1/x + 1/x^2.
Ini juga tidak terlihat benar.

Mari kita lihat kembali soalnya. Kemungkinan ada typo atau saya salah menginterpretasikan.
Jika (fogoh)(x) = (x+1)/x^2, dan kita tahu f(x) = x^2, g(x) = (x+1)/x.

(fogoh)(x) = f(g(h(x)))
= (g(h(x)))^2

Kita butuh g(h(x)) sedemikian rupa sehingga kuadratnya adalah (x+1)/x^2.
Jadi, g(h(x)) = sqrt((x+1)/x^2) = sqrt(x+1) / x.

Kita tahu g(y) = (y+1)/y.
Jadi, kita perlu mencari y (yaitu h(x)) sehingga:
(y+1)/y = sqrt(x+1) / x
1 + 1/y = sqrt(x+1) / x
1/y = sqrt(x+1) / x - 1
1/y = (sqrt(x+1) - x) / x
y = x / (sqrt(x+1) - x)

Ini masih sama. Mungkin ada cara yang lebih sederhana.

Coba kita periksa jika h(x) = 1/x.
 g(h(x)) = g(1/x) = (1/x + 1) / (1/x) = (1+x)/x.
f(g(h(x))) = f((1+x)/x) = ((1+x)/x)^2 = (1+2x+x^2)/x^2.

Coba kita periksa jika h(x) = x.
 g(h(x)) = g(x) = (x+1)/x.
f(g(h(x))) = f((x+1)/x) = ((x+1)/x)^2 = (x^2+2x+1)/x^2.

Ada kemungkinan besar soal ini memiliki kesalahan penulisan, atau saya melewatkan trik aljabar yang signifikan. Namun, jika kita mengasumsikan bahwa h(x) = 1/x, maka f(g(h(x))) = ((1+x)/x)^2. Ini sangat dekat dengan (x+1)/x^2, hanya saja ada kuadratnya.

Mari kita coba mundur dari hasil akhir.
(fogoh)(x) = (x+1)/x^2
f(x) = x^2
Berarti g(h(x)) harus menghasilkan nilai yang jika dikuadratkan menjadi (x+1)/x^2. Jadi g(h(x)) = sqrt((x+1)/x^2) = sqrt(x+1)/x.
Kita tahu g(z) = (z+1)/z.
Jadi, kita perlu mencari h(x) sehingga (h(x)+1)/h(x) = sqrt(x+1)/x.
1 + 1/h(x) = sqrt(x+1)/x
1/h(x) = (sqrt(x+1) - x)/x
h(x) = x / (sqrt(x+1) - x)

Jika kita mencoba h(x) = 1/x:
 g(h(x)) = g(1/x) = (1/x+1)/(1/x) = (1+x)/x.
f(g(h(x))) = f((1+x)/x) = ((1+x)/x)^2 = (1+x)^2 / x^2.

Jika kita mencoba h(x) = 1/sqrt(x):
 g(h(x)) = g(1/sqrt(x)) = (1/sqrt(x) + 1) / (1/sqrt(x)) = ( (1+sqrt(x))/sqrt(x) ) / (1/sqrt(x)) = 1+sqrt(x).
f(g(h(x))) = f(1+sqrt(x)) = (1+sqrt(x))^2 = 1 + 2sqrt(x) + x.

Jika kita coba h(x) = 1/x, maka f(g(h(x))) = (x+1)^2/x^2. Jika soalnya adalah (fogoh)(x) = (x+1)^2/x^2, maka h(x) = 1/x.

Dengan asumsi bahwa ada kesalahan ketik pada soal dan (fogoh)(x) seharusnya (x+1)^2/x^2, maka h(x) = 1/x.