Streszczenie.
Publikacja „Towards Making the Most of ChatGPT for Machine Translation” autorstwa Keqin Peng, Liang Ding, Qihuang Zhong, Li Shen, Xuebo Liu, Min Zhang, Y. Ouyang, Dacheng Tao skupia się na badaniu możliwości ChatGPT w zakresie tłumaczenia maszynowego (MT).
ChatGPT wykazuje znaczne zdolności do tłumaczenia maszynowego, osiągając wyniki porównywalne z komercyjnymi systemami dla języków o dużych zasobach, ale pozostaje w tyle w przypadku skomplikowanych zadań, takich jak tłumaczenie dla języków o niskich zasobach i par języków odległych. Autorzy zauważają, że często stosowane proste wskazówki nie są w stanie w pełni wydobyć zdolności ChatGPT.
W raporcie autorzy proponują dwa proste, ale skuteczne wskazówki: Task-Specific Prompts (TSP) i Domain-Specific Prompts (DSP), które mają na celu wydobycie zdolności tłumaczenia ChatGPT.
Autorzy zauważają, że wydajność ChatGPT w dużej mierze zależy od temperatury, a niższa temperatura zwykle prowadzi do lepszych wyników. Podkreślanie informacji o zadaniu dodatkowo poprawia wydajność ChatGPT, szczególnie w skomplikowanych zadaniach MT. Wprowadzenie informacji o dziedzinie może wydobyć zdolność generalizacji ChatGPT i poprawić jego wydajność w konkretnej dziedzinie.
Autorzy zauważają również, że ChatGPT ma tendencję do generowania halucynacji dla zadań MT niecentrycznych dla języka angielskiego, co może być częściowo rozwiązane za pomocą proponowanych wskazówek, ale nadal powinno być podkreślane dla społeczności MT/NLP.
W swoim raporcie, autorzy biorą pod lupę również zaawansowane strategie uczenia się w kontekście*. W trakcie tych badań natrafili na zaskakujące odkrycie, które choć niepozytywne, okazało się interesujące. Okazało się, że stosowanie skomplikowanej metody zwanej „łańcuchem myśli” prowadzi do tłumaczenia dosłownego, słowo po słowie. Niestety, taka strategia skutkuje znacznym pogorszeniem jakości tłumaczenia. Innymi słowy, zamiast przekładać sens ogólny, system zaczyna tłumaczyć każde słowo z osobna, co nie jest efektywne w kontekście tłumaczenia języka naturalnego.
* W przypadku modeli języka, takich jak ChatGPT, „kontekst” może odnosić się do wcześniejszych zdań lub fraz w konwersacji lub tekście, które model używa do zrozumienia i generowania odpowiedzi.
Źródło:
Autor wpisu
Advance MK
