Diketahui f(x)=(3x+1)/(x-1), g(x)=x^2+2 dan h(x)=2x+6.

(g^-1 o f^-1 o h^-1)(x) = sqrt((-x+20)/(x-12)). (h o g o f)^-1(8) tidak memiliki solusi real.

Pembahasan

Pertama, kita cari invers dari setiap fungsi: 
f(x) = (3x+1)/(x-1).
Untuk mencari f^-1(x), kita misalkan y = (3x+1)/(x-1).
Tukar x dan y: x = (3y+1)/(y-1).
x(y-1) = 3y+1.
xy - x = 3y+1.
xy - 3y = x+1.
y(x-3) = x+1.
y = (x+1)/(x-3).
Jadi, f^-1(x) = (x+1)/(x-3).

g(x) = x^2 + 2.
Untuk mencari g^-1(x), kita misalkan y = x^2 + 2.
Tukar x dan y: x = y^2 + 2.
x - 2 = y^2.
y = sqrt(x-2).
Jadi, g^-1(x) = sqrt(x-2).

h(x) = 2x + 6.
Untuk mencari h^-1(x), kita misalkan y = 2x + 6.
Tukar x dan y: x = 2y + 6.
x - 6 = 2y.
y = (x-6)/2.
Jadi, h^-1(x) = (x-6)/2.

Sekarang kita hitung (g^-1 o f^-1 o h^-1)(x) = g^-1(f^-1(h^-1(x))).
Pertama, hitung f^-1(h^-1(x)) = f^-1((x-6)/2).
Ganti x pada f^-1(x) dengan (x-6)/2:
f^-1((x-6)/2) = (((x-6)/2) + 1) / (((x-6)/2) - 3).
Samakan penyebut di pembilang dan penyebut:
= ((x-6+2)/2) / ((x-6-6)/2).
= (x-4)/2 / (x-12)/2.
= (x-4)/(x-12).

Sekarang hitung g^-1(f^-1(h^-1(x))) = g^-1((x-4)/(x-12)).
Ganti x pada g^-1(x) dengan (x-4)/(x-12):
g^-1((x-4)/(x-12)) = sqrt(((x-4)/(x-12)) - 2).
Samakan penyebut di dalam akar:
= sqrt((x-4 - 2(x-12))/(x-12)).
= sqrt((x-4 - 2x + 24)/(x-12)).
= sqrt((-x+20)/(x-12)).

Jadi, (g^-1 o f^-1 o h^-1)(x) = sqrt((-x+20)/(x-12)).

Selanjutnya, kita hitung (h o g o f)^-1(8).
Kita tahu bahwa (h o g o f)^-1(x) = (f^-1 o g^-1 o h^-1)(x).
Namun, soal meminta (h o g o f)^-1(8), yang berarti kita perlu mencari nilai x sehingga (h o g o f)(x) = 8.
Atau, kita bisa mencari invers dari komposisi (h o g o f)(x) terlebih dahulu, lalu substitusikan 8.
Mari kita hitung (h o g o f)(x) = h(g(f(x))).

f(x) = (3x+1)/(x-1).
g(f(x)) = g((3x+1)/(x-1)) = ((3x+1)/(x-1))^2 + 2.
h(g(f(x))) = h(((3x+1)/(x-1))^2 + 2) = 2 * (((3x+1)/(x-1))^2 + 2) + 6.
= 2 * ((9x^2 + 6x + 1)/(x^2 - 2x + 1) + 2) + 6.
= 2 * ((9x^2 + 6x + 1 + 2(x^2 - 2x + 1))/(x^2 - 2x + 1)) + 6.
= 2 * ((9x^2 + 6x + 1 + 2x^2 - 4x + 2)/(x^2 - 2x + 1)) + 6.
= 2 * ((11x^2 + 2x + 3)/(x^2 - 2x + 1)) + 6.
= (22x^2 + 4x + 6)/(x^2 - 2x + 1) + 6.
= (22x^2 + 4x + 6 + 6(x^2 - 2x + 1))/(x^2 - 2x + 1).
= (22x^2 + 4x + 6 + 6x^2 - 12x + 6)/(x^2 - 2x + 1).
= (28x^2 - 8x + 12)/(x^2 - 2x + 1).

Sekarang kita cari inversnya. Misalkan y = (28x^2 - 8x + 12)/(x^2 - 2x + 1).
Untuk mencari (h o g o f)^-1(8), kita bisa gunakan sifat bahwa jika (h o g o f)(a) = b, maka (h o g o f)^-1(b) = a.
Jadi, kita perlu mencari nilai x sehingga (h o g o f)(x) = 8.
(28x^2 - 8x + 12)/(x^2 - 2x + 1) = 8.
28x^2 - 8x + 12 = 8(x^2 - 2x + 1).
28x^2 - 8x + 12 = 8x^2 - 16x + 8.
28x^2 - 8x^2 - 8x + 16x + 12 - 8 = 0.
20x^2 + 8x + 4 = 0.
Bagi dengan 4:
5x^2 + 2x + 1 = 0.
Untuk mencari akar persamaan kuadrat ini, kita gunakan diskriminan: D = b^2 - 4ac.
D = 2^2 - 4 * 5 * 1 = 4 - 20 = -16.
Karena diskriminan negatif, tidak ada solusi real untuk x. Ini berarti (h o g o f)^-1(8) tidak terdefinisi dalam bilangan real, atau ada kesalahan dalam soal/perhitungan.

Mari kita periksa kembali perhitungan invers fungsi.
f^-1(x) = (x+1)/(x-3).
g^-1(x) = sqrt(x-2).
h^-1(x) = (x-6)/2.

f^-1(h^-1(x)) = f^-1((x-6)/2) = ((x-6)/2 + 1) / ((x-6)/2 - 3) = ((x-4)/2) / ((x-12)/2) = (x-4)/(x-12).

g^-1(f^-1(h^-1(x))) = g^-1((x-4)/(x-12)) = sqrt(((x-4)/(x-12)) - 2) = sqrt((x-4 - 2x + 24)/(x-12)) = sqrt((-x+20)/(x-12)).

Untuk bagian kedua soal, (h o g o f)^-1(8). Kita perlu mencari x sedemikian rupa sehingga (h o g o f)(x) = 8.
Kita sudah hitung (h o g o f)(x) = (28x^2 - 8x + 12)/(x^2 - 2x + 1).
Menyetel = 8:
(28x^2 - 8x + 12)/(x^2 - 2x + 1) = 8
28x^2 - 8x + 12 = 8x^2 - 16x + 8
20x^2 + 8x + 4 = 0
5x^2 + 2x + 1 = 0
D = 2^2 - 4(5)(1) = 4 - 20 = -16.
Tidak ada solusi real.

Kemungkinan ada kesalahan penulisan pada soal atau fungsi yang diberikan.

Jika kita coba hitung (f^-1 o g^-1 o h^-1)(8) saja:
(f^-1 o g^-1 o h^-1)(8) = sqrt((-8+20)/(8-12)) = sqrt(12/-4) = sqrt(-3). Tidak terdefinisi dalam bilangan real.

Mungkin soalnya adalah mencari (h o g o f)(8) atau mencari invers dari komposisi yang berbeda.

Mari kita coba cari (f o g o h)(x) dan inversnya.
f(g(h(x))) = f(g(2x+6)) = f((2x+6)^2 + 2) = f(4x^2 + 24x + 36 + 2) = f(4x^2 + 24x + 38).
= (3(4x^2 + 24x + 38) + 1) / ((4x^2 + 24x + 38) - 1).
= (12x^2 + 72x + 114 + 1) / (4x^2 + 24x + 37).
= (12x^2 + 72x + 115) / (4x^2 + 24x + 37).

Jika kita mencari invers dari ini dan substitusi 8, akan sangat kompleks.

Mari kita kembali ke soal awal dan periksa perhitungan lagi.

(g^-1 o f^-1 o h^-1)(x) = sqrt((-x+20)/(x-12)).

Untuk (h o g o f)^-1(8).
Kita perlu mencari x sedemikian rupa sehingga (h o g o f)(x) = 8.
Dan kita dapatkan 5x^2 + 2x + 1 = 0, yang tidak memiliki solusi real.

Jika kita coba mencari nilai untuk (f o g o h)^-1(8).
Misalkan (f o g o h)(x) = 8.
(12x^2 + 72x + 115) / (4x^2 + 24x + 37) = 8.
12x^2 + 72x + 115 = 8(4x^2 + 24x + 37).
12x^2 + 72x + 115 = 32x^2 + 192x + 296.
0 = 32x^2 - 12x^2 + 192x - 72x + 296 - 115.
0 = 20x^2 + 120x + 181.
D = 120^2 - 4 * 20 * 181 = 14400 - 14480 = -80. Tidak ada solusi real.

Dengan demikian, kedua bagian soal tidak memiliki solusi real berdasarkan fungsi yang diberikan. Ada kemungkinan besar ada kesalahan dalam penulisan soal fungsi atau nilai yang diminta.