Krótki test możliwości AI w korekcie polskiego tekstu.

Krótki test możliwości AI w korekcie polskiego tekstu.

Błędy w testowym tekście:

1. brak dużej litery

2. 7x podwójna spacja

3. podwójne aa

4. refleksii

5. dajo  

6. wartośći 

7. bóduje

Prompt/zadanie:

wylistuj wszystkie błędy ortograficzne, pomiń sprawdzanie przecinków, stosuj zasady dla pisowni języka polskiego w tekście "..."

Model - ilość znalezionych błędów:

GPT 4.o - 6/7 

(aistudio.google.com) Gemini Pro 1.5 (temperature 1) (wykrył brak dużej litery) - 6/7

(aistudio.google.com) Gemini 1.5 Flash (temperature 1) (wykrył brak dużej litery) - 6/7

(aistudio.google.com) Gemini Pro 1.5 (temperature 0) - 5/7

Reka CORE - 4/7

(przez perplexity.com) Claude 3 Haiku - 4/7

Mistral - 3/7 + 3 z 7 znalezionych zbędnych spacji

Claude 3 Sonnet - 3/7

Gemini 1 - 2/7

(chat.lmsys.org, Direct chat) Yi-large-preview - 4/7 + jeden błąd składniowy ekstra

(chat.lmsys.org, Direct chat) qwen1.5-110b-chat - 4/7 + 2/7 znalezionych zbędnych spacji

(chat.lmsys.org, Direct chat) command-r - 4/7 + 3 znalezionych zbędnych spacji

(chat.lmsys.org, Direct chat) dbrx-instruct - 4/7

GroQ-Llama3 70b - 2/8

lokalnie Ollama/Llama3-8b:latest - 0/7

lokalnie Ollama/Llama3-8blatest (RAG) - 0/7

Wniosek:

Z korektą tekstu w j. polskim lepiej sobie radzą duże, znane modele językowe. Małe/uruchamiane lokalnie (bez dostępu do internetu) - na razie sobie nie radzą.