OpenAI wprowadza innowacyjny model językowy, który obiecuje rewolucjonizować sposób, w jaki ludzcy trenerzy AI identyfikują i korygują błędy. Nowy model, nazwany CriticGPT, oparty na technologii GPT-4, ma za zadanie wspierać procesy szkolenia modeli językowych, takich jak popularny ChatGPT, w wykrywaniu nietrafnych odpowiedzi.
Modele językowe, takie jak GPT-4, zyskują na zdolnościach, które w wielu przypadkach przewyższają możliwości ludzkiego umysłu, co utrudnia trenerom AI precyzyjne ocenianie generowanych przez nie odpowiedzi. CriticGPT został stworzony jako odpowiedź na tę wyzwanie, oferując wsparcie w identyfikacji błędów oraz poprawie jakości odpowiedzi generowanych przez AI.
Według przedstawicieli OpenAI, CriticGPT przeszedł pomyślnie testy, które pokazały znaczną poprawę skuteczności oceny kodu ChatGPT. „Odkryliśmy, że osoby korzystające z pomocy CriticGPT w ocenianiu kodu osiągają nawet o 60 procent lepsze rezultaty niż te, które polegają tylko na ludzkiej ocenie” – podkreśla zespół badawczy.
Proces szkolenia CriticGPT opiera się na metodzie Reinforcement Learning from Human Feedback (RLHF), gdzie ludzcy trenerzy interaktywnie współpracują z modelem, aby wskazać preferowane odpowiedzi na różnorodne pytania. Ten dialog pozwala CriticGPT na ciągłe doskonalenie umiejętności w identyfikacji poprawnych i niepoprawnych odpowiedzi.
Superlab OpenAI, przy wsparciu technologicznym Microsoftu, szczegółowo opisał metodologię działania CriticGPT w artykule opublikowanym w czwartek, zatytułowanym „LLM Critics Help Catch LLM Bugs”. Artykuł analizuje skuteczność modelu w wykrywaniu błędów oraz jego zdolność do minimalizowania zjawiska halucynacji, czyli generowania nieprawdziwych informacji.
Jednakże, jak zauważają eksperci, nadal istnieje wyzwanie w znalezieniu optymalnego balansu między minimalizacją halucynacji a skutecznym wykrywaniem błędów w systemie RLHF. „Nie jest jeszcze jasne, jak osiągnąć najlepszy kompromis pomiędzy tymi czynnikami dla ogólnego systemu, który wykorzystuje krytykę w celu usprawnienia działania modeli językowych” – przyznano w artykule.
OpenAI pozostaje na czele innowacji w dziedzinie sztucznej inteligencji, nieustannie poszukując rozwiązań, które mogą polepszyć zarówno efektywność, jak i wiarygodność generowanych przez AI treści. Wprowadzenie CriticGPT stanowi kolejny krok w kierunku stworzenia bardziej zaawansowanych i precyzyjnych modeli językowych, które mogą służyć jako nieocenione narzędzie w różnorodnych zastosowaniach technologicznych.
