Πράγματα που (ίσως) ξέρετε και που (ίσως) δεν ξέρετε για το AI – 3η Έκδοση

Όσοι δουλέψαμε με υπολογιστή γύρω στο 2000 θυμόμαστε ότι είχαμε αναπτύξει ένα συγκεκριμένο είδος προσοχής, μια επαγρύπνηση που συνόδευε κάθε δουλειά μας με τα PC της εποχής. Ο μικρός σκληρός δίσκος τους γέμιζε πριν προλάβεις να τελειώσεις τη δουλειά σου. Έπρεπε να κάνεις λογαριασμούς πριν ξεκινήσεις: «πόσο μεγάλο περιμένω να είναι το αποτέλεσμα σε Megabytes, πόση μνήμη θα μου μείνει». Η ελάχιστη RAM εξαντλείτο μόλις άνοιγαν παράλληλα δύο εφαρμογές. Είχαμε μάθει να ζούμε μέσα σ’ αυτά τα όρια, όχι σαν περιορισμούς, αλλά ως δεδομένα του περιβάλλοντος εργασίας μας.
Κλείναμε προγράμματα πριν ανοίξουμε άλλα, αποθηκεύαμε συνεχώς (Ctrl+S) πριν κάνουμε οτιδήποτε και ο Task Manager ήταν το εργαλείο με το οποίο διαπραγματευόμασταν συνεχώς.

Παρένθεση. Τον Task Manager των Windows τον έγραψε ένας απίστευτος χαρακτήρας ονόματι David Plummer, ο οποίος (όπως έχει δηλώσει ο ίδιος) ανήκει στο φάσμα του αυτισμού και του ΔΕΠΥ. Διαθέτει κανάλι στο Youtube, το οποίο ενημερώνει τακτικά (https://www.youtube.com/@DavesGarage). Το πώς έγραψε τον Task Manager και πόσες προγραμματιστικές λεπτομέρειες έπρεπε να αντιμετωπίσει ώσπου να τον ολοκληρώσει το έχει καταγράψει στο https://www.youtube.com/watch?v=Ve95Nh690l0. Όσοι έχετε προγραμματιστική περιέργεια, δείτε το. Κλείνει η παρένθεση.

Είκοσι πέντε χρόνια αργότερα η ίδια ακριβώς λογική επιστρέφει με διαφορετικό πρόσωπο. Το context window του κάθε μοντέλου είναι ο σκληρός δίσκος που λέγαμε. Είναι πεπερασμένο, γεμίζει (και εδώ βρίσκεται η μεγάλη διαφορά) χωρίς σαφή προειδοποίηση κατά τη διάρκεια της συζήτησης και το περιεχόμενό του χάνει βαρύτητα αν δεν το διαχειριστείς σωστά.

Οι κρίσιμες παράμετροι που έδωσες στην αρχή μιας μακράς συζήτησης ξεχνιούνται ακριβώς όπως τα δεδομένα που αποβάλλονταν από τη RAM μόλις φορτωνόταν μια νέα εφαρμογή. Όπως τότε έπρεπε να ξέρεις ότι το Photoshop και το Word δεν μπορούσαν να συνυπάρχουν στη RAM της εποχής, σήμερα πρέπει να ξέρεις ότι μια πολύπλοκη ανάλυση σε μακρά συζήτηση αρχίζει να αποκλίνει από τις αρχικές οδηγίες αν δεν επαναφέρεις ρητά τα κρίσιμα στοιχεία.

Η νοσταλγία σταματά εδώ, γιατί το δεύτερο σκέλος της ομοιότητας είναι πιο απαιτητικό από το πρώτο. Το 2000, ένα σφάλμα ήταν συνήθως ορατό. Ήταν η μπλε οθόνη, το μήνυμα «insufficient memory», το αρχείο που δεν αποθηκεύτηκε κ.λπ. Σήμερα το μοντέλο δεν κολλάει, δεν σβήνει, δεν προειδοποιεί. Συνεχίζει να παράγει κείμενο, γλωσσικά άρτιο και ιδιαίτερα πειστικό, ακόμα και όταν σου παραδίδει σαχλαμάρες.

Εκείνη την εποχή μάθαμε να σεβόμαστε τα όρια του εργαλείου επειδή το εργαλείο μας τα έδειχνε. Τώρα πρέπει να τα προβλέπουμε εμείς πριν από το μοντέλο.

Λίγα πράγματα που ίσως ξέρεις για τα μοντέλα τεχνητής νοημοσύνης

1. Το μοντέλο δεν ψάχνει πουθενά. Αντλεί πληροφορίες αποκλειστικά από τα δεδομένα εκπαίδευσης (training data) που υπήρχαν πριν από μια συγκεκριμένη ημερομηνία διακοπής (training cutoff). Ό,τι συνέβη στον κόσμο μετά από εκείνη την ημερομηνία δεν το γνωρίζει. Το κρίσιμο σημείο είναι ότι δεν θα σου το πει. Αντιθέτως, θα απαντήσει για αυτά που δεν γνωρίζει με την ίδια αυτοπεποίθηση που επιδεικνύει για όσα γνωρίζει. Αν δεν ξέρεις πότε είναι αυτή η ημερομηνία, ρώτα το μοντέλο απευθείας. Σχεδόν πάντα απαντά. Αν δεν απαντήσει, η πληροφορία υπάρχει στην τεκμηρίωση του κατασκευαστή. Προσοχή, η αυτοπεποίθηση ακόμα και όταν απαντά λανθασμένα δεν είναι ατέλεια του μοντέλου. Στα επόμενα δίνουμε εξήγηση.

2. Ένα μοντέλο 70 δισεκατομμυρίων παραμέτρων (parameters) δεν είναι κατ’ ανάγκην καλύτερο από ένα 7 δισεκατομμυρίων. Ο αριθμός των παραμέτρων μετρά μέγεθος, όχι ποιότητα. Αυτό που πραγματικά καθορίζει την απόδοση και την αξιοπιστία του μοντέλου είναι η ποιότητα των δεδομένων εκπαίδευσης (training data) και η μέθοδος βελτιστοποίησης μετά την εκπαίδευση. Ένα μικρότερο μοντέλο εκπαιδευμένο με ποιοτικότερα δεδομένα συχνά υπερτερεί ενός μεγαλύτερου με ρηχή ή θολή εκπαίδευση.

3. Η παλιά συμβουλή «ρώτα το στα αγγλικά για καλύτερα αποτελέσματα» έχει λήξει, τουλάχιστον για τα σύγχρονα εμπορικά μοντέλα. Τα δεδομένα εκπαίδευσης ήταν ιστορικά κατά κύριο λόγο αγγλόφωνα, αλλά το χάσμα ποιότητας ανά γλώσσα έχει μειωθεί σημαντικά μετά το 2024. Σε τεχνικές εργασίες με συντακτικά και γραμματικά ακριβή ελληνική διατύπωση, η διαφορά είναι αμελητέα. Αυτό δεν σημαίνει ότι η γλωσσική ακρίβεια δεν έχει σημασία. Ένα καλογραμμένο ερώτημα αποδίδει καλύτερα ανεξάρτητα από τη γλώσσα. Για μικρότερα ή ανοιχτού κώδικα (open source) μοντέλα, η αγγλική παραμένει στρατηγικό πλεονέκτημα.

4. Το αίτημα για περίληψη ενός κειμένου παραμένει από τις πιο αξιόπιστες χρήσεις του μοντέλου. Η παραγωγή νέου τεχνικού περιεχομένου είναι από τις πιο επικίνδυνες. Η διαφορά δεν είναι θέμα δυσκολίας. Είναι δομική. Στην περίληψη, το μοντέλο δεσμεύεται από το κείμενο που του έδωσες. Στην παραγωγή νέου περιεχομένου, βασίζεται αποκλειστικά στην εσωτερική κατανομή πιθανοτήτων (probability distribution), στην εκπαίδευσή του και σε άλλες παραμέτρους, χωρίς κανένα αντικειμενικό σημείο επαλήθευσης. Εκεί πρέπει να είναι κανείς πολύ προσεκτικός.

5. Το μοντέλο δεν εκτελεί αριθμητικές πράξεις. Όταν παράγει αριθμητικό αποτέλεσμα, αυτό είναι η συνέχεια κειμένου που στατιστικά «ταιριάζει» να ακολουθήσει, δεν είναι πραγματικός υπολογισμός. Ακριβώς γι’ αυτό, η σύνδεση με εργαλείο εκτέλεσης κώδικα (code execution tool) αλλάζει ριζικά την αξιοπιστία σε υπολογιστικές εργασίες. Όταν το εργαλείο είναι ενεργό, το μοντέλο γράφει κώδικα Python, τον εκτελεί και επιστρέφει αριθμητικό αποτέλεσμα. Όταν δεν είναι ενεργό, παράγει ένα πιθανοφανές αποτέλεσμα και ο κίνδυνος σφάλματος είναι υπαρκτός, ιδίως σε σύνθετες ή πολυβήματες πράξεις.

6. Πριν από λίγα χρόνια το context window ήταν μερικές χιλιάδες tokens. Σήμερα το Claude επεξεργάζεται μέχρι 200.000 tokens στα τυπικά μοντέλα (με πρόσφατη beta έκδοση που φτάνει το 1 εκατομμύριο), που αντιστοιχούν χονδρικά σε 150.000 λέξεις αγγλικού κειμένου. Αυτό σημαίνει ότι μπορείς να υποβάλεις ολόκληρο φάκελο μελέτης και να εργαστείς πάνω στο περιεχόμενό του εντός της ίδιας συζήτησης. Ένα token αντιστοιχεί κατά προσέγγιση σε 0,75 λέξεις αγγλικού κειμένου. Σε ελληνικό κείμενο η αναλογία αποκλίνει ανάλογα με το μήκος των λέξεων (οι ελληνικές λέξεις είναι συνθετότερες και καταναλώνουν περισσότερα tokens ανά λέξη).

7. Με κάθε νέο αίτημα, ολόκληρη η ιστορία της συζήτησης στο context window ξαναδιαβάζεται από την αρχή ως είσοδος και τα επανεπεξεργάζεται. Το μοντέλο δεν αποθηκεύει τίποτα μεταξύ αιτημάτων (prompts). Φαίνεται να θυμάται τα προηγούμενα μόνο και μόνο επειδή τα ξαναδιαβάζει (με κόστος σε tokens). Αυτό σημαίνει ότι η παράταση μιας συζήτησης δεν προσφέρει κανένα πλεονέκτημα έναντι της εκκίνησης μιας νέας με καλή αρχική σύνοψη.

8. Αν χρησιμοποιείς το claude.ai και η συζήτηση πλησιάσει το όριο του context window, η εφαρμογή στα νεότερα μοντέλα επιστρέφει σφάλμα και σου ζητά να ξεκινήσεις νέα συζήτηση αντί να περικόπτει σιωπηρά το ιστορικό. Δεν ισχύει, δηλαδή, η παλαιότερη συμπεριφορά «first in, first out» που έκοβε χωρίς προειδοποίηση. Ωστόσο, πολύ πριν φτάσεις στο σκληρό όριο, η ποιότητα των απαντήσεων αρχίζει να φθίνει αισθητά επειδή το μοντέλο δυσκολεύεται να κρατήσει συνοχή σε πολύ μεγάλο context. Η πρακτική σύσταση παραμένει η ίδια. Όταν μια συζήτηση επεκτείνεται σε μεγάλο μήκος, ρώτα το μοντέλο αν πλησιάζει στο όριο. Αν απαντήσει καταφατικά, ζήτα σύνοψη σε αρχείο κειμένου (.txt) και ξεκίνα νέα συζήτηση με αυτή τη σύνοψη ως αρχικό υλικό (του το ανεβάζεις ως συνημμένο και συνεχίζεις την κουβέντα σου μ’ αυτό).

9. Κατά το training του μοντέλου τα εσωτερικά βάρη (weights) του αλλάζουν. Κατά τη χρήση δεν αλλάζει τίποτα. Κάθε συζήτηση εκτελείται πάνω σε ένα πάγιο μοντέλο. Ορισμένες εταιρείες χρησιμοποιούν δεδομένα από παλαιότερες συζητήσεις για να εκπαιδεύσουν μελλοντικές εκδόσεις, αλλά αυτό είναι ξεχωριστή διαδικασία που δεν επηρεάζει το μοντέλο που χρησιμοποιείς σήμερα. Αν το ρωτήσεις «μαθαίνεις από τις συζητήσεις μας;» και απαντήσει «ναι», δεν λέει ψέματα με την ανθρώπινη έννοια. Απλώς παράγει τη συνέχεια που στατιστικά «ταιριάζει» στο πλαίσιο της ερώτησης. Το μοντέλο δεν έχει πρόσβαση σε τεχνική περιγραφή του εαυτού του και δεν αντιλαμβάνεται τι συμβαίνει εσωτερικά κατά τη λειτουργία του. Γι’ αυτό δεν αποτελεί αξιόπιστη πηγή για τον τρόπο λειτουργίας του. Για αυτά χρειάζεται η επίσημη τεκμηρίωση του κατασκευαστή.

10. Δύο μοντέλα από διαφορετικές εταιρείες μπορεί να έχουν παρόμοιες επιδόσεις στα συγκριτικά benchmarks και ριζικά διαφορετικές επιδόσεις στη συγκεκριμένη εργασία που σε ενδιαφέρει. Οι αξιολογήσεις αυτές μετράνε μέσους όρους σε τυποποιημένες εργασίες και έχουν περιορισμένη προγνωστική αξία για εξειδικευμένες επαγγελματικές ανάγκες.

11. Η αρχική εντολή, το prompt που έθεσες στην αρχή κάθε συζήτησης, έχει υψηλότερη βαρύτητα από τα μηνύματα που ακολουθούν. Αυτό είναι σχεδιαστική επιλογή, όχι τυχαίο. Για αυτόν ακριβώς τον λόγο τα Projects, που επιτρέπουν μόνιμες οδηγίες ανά περιβάλλον εργασίας, βελτιώνουν σημαντικά την ποιότητα των απαντήσεων, περισσότερο από οποιοδήποτε έξυπνα διατυπωμένο ερώτημα.

12. Το μοντέλο είναι καλύτερο στο να κρίνει μια απάντηση από το να την παράγει εξ αρχής. Αν του δώσεις δύο εκδοχές ενός κειμένου και του ζητήσεις να επιλέξει την καλύτερη και να αιτιολογήσει, η κρίση του είναι συνήθως πιο αξιόπιστη από ό,τι αν το άφηνες να γράψει από μηδενική βάση. Η ροή εργασίας «παραγωγή, μετά κριτική, μετά επιλογή» υπερτερεί σχεδόν πάντα της ροής «παραγωγή και άμεση χρήση».

Λίγα πράγματα που ίσως δεν ξέρεις για τα μοντέλα τεχνητής νοημοσύνης

1. Το μοντέλο δεν διαβάζει την ερώτησή σου από αριστερά προς τα δεξιά, όπως κάνεις εσύ. Ο μηχανισμός προσοχής (attention mechanism), δηλαδή ο τρόπος με τον οποίο το σύστημα αποφασίζει σε ποιες λέξεις αποδίδει βαρύτητα πριν παράγει την επόμενη λέξη, αξιολογεί ταυτόχρονα όλες τις λέξεις του κειμένου. Αυτό σημαίνει ότι δύο ερωτήματα με τις ίδιες ακριβώς λέξεις σε διαφορετική σειρά μπορεί να παράγουν διαφορετικές απαντήσεις, επειδή αλλάζουν οι σχέσεις βαρύτητας μεταξύ των λέξεων. Κανείς δεν σχεδίασε αυτή τη συμπεριφορά, προέκυψε από τη δομή της αρχιτεκτονικής.

2. Υπάρχει το φαινόμενο που λέγεται «lost in the middle». Όταν δίνεις στο μοντέλο ένα τεράστιο κείμενο, τα στοιχεία που βρίσκονται στο μέσο επεξεργάζονται με χαμηλότερη προτεραιότητα από αυτά στην αρχή ή στο τέλος. Αν υποβάλεις κείμενο 40 σελίδων και το κρίσιμο άρθρο βρίσκεται στη σελίδα 18, η πιθανότητα η απάντηση να υποβαθμίσει ή να αγνοήσει το μεσαίο κείμενο είναι αυξημένη. Το ίδιο ισχύει για τη ροή μιας μακράς συζήτησης. Οδηγίες που δόθηκαν στο μέσο έχουν μεγαλύτερη πιθανότητα να ξεχαστούν σε σχέση με αυτές που δόθηκαν στην αρχή ή επαναλήφθηκαν πρόσφατα. Αν έχεις κρίσιμη πληροφορία, τοποθέτησέ τη στην αρχή ή στο τέλος και επανάλαβέ τη στην ερώτησή σου.

3. Όταν κάνεις ερώτηση σε ένα μοντέλο, δεν παίρνεις την καλύτερη απάντηση. Παίρνεις την πιθανότερη. Η παράμετρος θερμοκρασία (temperature) ρυθμίζει πόσο «τολμηρή» ή «συντηρητική» είναι αυτή η επιλογή μέσα από μια κατανομή πιθανοτήτων (probability distribution). Αν ρωτήσεις το ίδιο ερώτημα δέκα φορές, θα πάρεις δέκα διαφορετικά αποτελέσματα. Δεν υπάρχει πουθενά «η σωστή απάντηση» την οποία το μοντέλο γνωρίζει αλλά αποκρύπτει. Επίσης, το να ρωτάς «είσαι σίγουρος;» δεν παράγει απαραίτητα καλύτερο αποτέλεσμα. Το πιθανότερο είναι να κατασκευαστεί μια διαφορετική επιλογή από την ίδια κατανομή πιθανοτήτων, ενδεχομένως με αυξημένη αυτοπεποίθηση. Σε εργασίες υψηλής κρίσης, η πιο αξιόπιστη μέθοδος είναι να ζητάς εξαρχής τρεις διαφορετικές απαντήσεις στο ίδιο ερώτημα και στη συνέχεια να κρίνεις, να συγκρίνεις και να συνθέσεις. Έτσι εκμεταλλεύεσαι τον στοχαστικό (stochastic) χαρακτήρα του μοντέλου αντί να τον αγνοείς.

4. Οι γνώσεις του μοντέλου δεν αποθηκεύονται σε βάση δεδομένων που μπορείς να αναζητήσεις ή να επικαλεστείς. Είναι κωδικοποιημένες σε δισεκατομμύρια αριθμητικές τιμές, τα βάρη (weights), και η ίδια πληροφορία κατανέμεται διάχυτα σε χιλιάδες παραμέτρους ταυτόχρονα. Αυτό σημαίνει ότι δεν μπορείς να διαγράψεις κάτι συγκεκριμένο από τη γνώση του μοντέλου ούτε να επαληθεύσεις τι ακριβώς περιέχει. Το μοντέλο δεν λειτουργεί ως βιβλιοθήκη που ανακτά δεδομένα από συγκεκριμένες σελίδες, αλλά ως σύνολο αντανακλαστικών που παράγουν απαντήσεις βάσει στατιστικών σχέσεων. Έχει γίνει στο παρελθόν αξιόλογη επιστημονική προσπάθεια να χαρτογραφηθεί το πού ενεργοποιούνται συγκεκριμένες έννοιες στο εσωτερικό του μοντέλου (το πεδίο ονομάζεται mechanistic interpretability), με ορισμένες πρόσφατες δημοσιεύσεις της Anthropic να εντοπίζουν συγκεκριμένα χαρακτηριστικά για συγκεκριμένες έννοιες. Η πλήρης χαρτογράφηση όμως παραμένει ανοιχτό πρόβλημα, αντίστοιχης πολυπλοκότητας με τη χαρτογράφηση του ανθρώπινου εγκεφάλου.

5. Τα μοντέλα εμφανίζουν ικανότητες τις οποίες δεν είχαν προβλέψει ούτε οι δημιουργοί τους. Φαντάσου ένα σύστημα εκπαιδευμένο να κάνει μία και μόνη δουλειά, δηλαδή να προβλέπει την επόμενη λέξη σε μια πρόταση. Τίποτε άλλο. Καθώς αυτό το σύστημα μεγαλώνει και εκπαιδεύεται σε περισσότερα δεδομένα, κάποια στιγμή αρχίζει να κάνει δουλειές που δεν περίμενε κανείς. Μεταφράζει γλώσσες που ποτέ δεν του διδάχθηκαν ρητά, λύνει εξισώσεις, ερμηνεύει νομικά κείμενα τα οποία δεν υπήρχαν στο αρχικό υλικό εκπαίδευσης (training). Κανείς δεν το προγραμμάτισε για αυτό. Τέτοιες συμπεριφορές ονομάζονται αναδυόμενες ικανότητες (emergent capabilities). Πρέπει εδώ να σημειωθεί μια επιφύλαξη. Η εικόνα της αιφνίδιας εμφάνισης (κάτω από ορισμένο μέγεθος η ικανότητα δεν υπάρχει, από εκεί και πάνω εμφανίζεται «σαν αλλαγή φάσης») έχει αμφισβητηθεί σε πρόσφατη βιβλιογραφία (Schaeffer et al. 2023), με το επιχείρημα ότι η αιφνίδια εμφάνιση οφείλεται εν μέρει στις διακριτές μετρικές αξιολόγησης και εξομαλύνεται όταν χρησιμοποιούνται συνεχείς μετρικές. Παραμένει όμως αδιαμφισβήτητο ότι οι ίδιοι οι δημιουργοί ανακαλύπτουν πολλές ικανότητες μετά την κυκλοφορία του μοντέλου, όχι πριν.

Χαρακτηριστικό πρόσφατο παράδειγμα είναι η έκδοση Mythos της Anthropic (Απρίλιος 2026), που δεν διατέθηκε ελεύθερα στο κοινό αλλά μόνο σε κλειστό κύκλο συνεργαζόμενων εταιρειών κυβερνοασφάλειας. Κατά τις εσωτερικές δοκιμές λένε ότι το μοντέλο εμφάνισε ικανότητα να συνθέτει αυτόνομα αλυσίδες ευπαθειών και να διαφεύγει από περιβάλλοντα απομόνωσης (sandboxes) με τρόπους που υπερέβαιναν τα προβλεπόμενα από τους σχεδιαστές συστημάτων. Η εκπαίδευσή του είχε στόχο τη βελτίωση σε εργασίες κώδικα και κυβερνοασφάλειας αλλά η κλίμακα αυτονομίας που επιτεύχθηκε ήταν απρόσμενη.

6. Το μοντέλο έχει συστηματική τάση να συμφωνεί με τον χρήστη ακόμα και όταν ο χρήστης έχει άδικο. Αυτό το φαινόμενο ονομάζεται κολακεία μοντέλου (sycophancy) και δεν είναι σχεδιαστική επιλογή. Προέκυψε από τη διαδικασία εκπαίδευσης, κατά την οποία ανθρώπινοι αξιολογητές ασυνείδητα έδιναν υψηλότερους βαθμούς σε απαντήσεις που επιβεβαίωναν τις απόψεις τους. Αν διατυπώσεις ερώτημα που εμπεριέχει λανθασμένη παραδοχή, το μοντέλο συχνά δομεί την απάντηση πάνω στο λάθος αντί να το αμφισβητήσει. Η διάσταση αυτή είναι μετρήσιμη. Αν πεις «νομίζω ότι η λύση είναι Χ, σωστά;», η πιθανότητα να επιβεβαιωθεί το Χ είναι σημαντικά υψηλότερη από ό,τι αν ρωτούσες «ποια είναι η λύση;» χωρίς να προτείνεις κάτι. Αυτό σημαίνει ότι η χρήση του μοντέλου ως δεύτερης γνώμης έχει αξία μόνο αν διατυπώνεις το ερώτημα χωρίς να αποκαλύπτεις εκ των προτέρων την άποψή σου.

7. Το μοντέλο δεν γνωρίζει τι γνωρίζει. Γράφει με την ίδια ευχέρεια και πειστικότητα για κάτι που αντιπροσωπεύεται πλούσια στα δεδομένα εκπαίδευσής του και για κάτι που επινοεί εντελώς. Δεν υπάρχει εσωτερικός μηχανισμός προειδοποίησης όταν το σύστημα βρίσκεται εκτός περιοχής αξιοπιστίας. Αυτό δεν είναι σφάλμα που διορθώνεται, αλλά δομικό χαρακτηριστικό της αρχιτεκτονικής. Η αξιόπιστη επιλογή εργασιών δεν προκύπτει από διαίσθηση, αποκτάται μόνο μέσω επαναλαμβανόμενης χρήσης με διασταύρωση αποτελεσμάτων. Μέχρι να αποκτηθεί αυτή η εμπειρία, η μόνη ασφαλής στάση είναι να θεωρείς ότι κάθε εξειδικευμένο αποτέλεσμα απαιτεί επαλήθευση, ανεξάρτητα από το πόσο πειστικά διατυπώνεται.

8. Όταν ζητάς από το μοντέλο να «σκεφτεί βήμα βήμα», δεν του δίνεις χρόνο σκέψης με την ανθρώπινη έννοια. Αντίθετα, του δίνεις περισσότερη υπολογιστική δουλειά πριν καταλήξει στην απάντηση. Κάθε πέρασμα του μοντέλου μέσα από τα στρώματά του (layers) έχει υπολογιστικό βάθος, οπότε προβλήματα που απαιτούν περισσότερα βήματα από τα διαθέσιμα επίπεδα δεν χωρούν πάντα σε μία απάντηση. Όταν το μοντέλο γράφει ενδιάμεσα tokens, αυτά μπαίνουν στο context και διαβάζονται ξανά από την αρχή στο επόμενο πέρασμα. Το context λειτουργεί έτσι σαν πρόχειρο όπου αποθηκεύονται ενδιάμεσες σκέψεις, και το βάθος του υπολογισμού μετατρέπεται σε μήκος κειμένου. Η τεχνική αποδίδει σε προβλήματα με βαθιά σειριακή δομή (αριθμητική πολλών βημάτων, νομική συλλογιστική με αλυσίδα συνθηκών, αλγοριθμική ανίχνευση) και λιγότερο σε ερωτήματα που λύνονται σε λίγα βήματα. Δύο παραλλαγές της ίδιας αρχής αξίζουν ξεχωριστή μνεία. Σε ερωτήματα όπου υπάρχει γνωστό πρότυπο σφάλματος, η αρνητική διατύπωση «ποια είναι η πιο συνηθισμένη λανθασμένη προσέγγιση για Χ, γιατί αποτυγχάνει και ποια είναι η ορθή» υπερτερεί της ευθείας ερώτησης, επειδή υποχρεώνει το μοντέλο να διασχίσει τον χώρο των αποτυχιών πριν καταλήξει σε λύση. Σε εργασίες κρίσης και συγκριτικής αξιολόγησης, η δομή «επιχειρήματα υπέρ, επιχειρήματα κατά, συμπέρασμα» αποδίδει συστηματικά καλύτερα από την άμεση ζήτηση συμπεράσματος, αφού εξαναγκάζει το μοντέλο να παραγάγει την τεκμηρίωση πριν από την κρίση, αντί να τη γεννήσει εκ των υστέρων ως αιτιολόγηση προαποφασισμένης απάντησης.

9. Ο τρόπος με τον οποίο το μοντέλο διασπά (τεμαχιοποιεί) σε μικρά κομμάτια μια λέξη ή μια πρόταση προς επεξεργασία, η τεμαχιοποίηση που ονομάζεται tokenization, προκαλεί αδυναμίες που δεν έχουν καμία σχέση με τη γενική ικανότητα του μοντέλου. Γι’ αυτόν τον λόγο, το μοντέλο μπορεί να παράγει άρτιο κείμενο αλλά να αποτύχει να μετρήσει πόσα «ρ» έχει η λέξη «καρεκλοπόδαρο». Τα δύο ερωτήματα δεν είναι συγκρίσιμα ως προς τη δυσκολία από τη σκοπιά του μοντέλου, ενώ για έναν άνθρωπο το δεύτερο είναι τετριμμένο. Η ίδια αρχή εξηγεί τη δυσκολία στο να μετρηθούν αντικείμενα σε λίστα, να εντοπιστεί συγκεκριμένος χαρακτήρας σε σειρά ή να εκτελεστούν πράξεις με μεγάλους αριθμούς χωρίς εξωτερικό υπολογιστικό εργαλείο. Η αποτυχία σε φαινομενικά απλές εργασίες δεν αντικατοπτρίζει το γενικό επίπεδο ικανότητας και αντιστρόφως, η επιτυχία σε σύνθετες εργασίες δεν αποδεικνύει γενική κατανόηση.

10. Το μοντέλο μπορεί να προσαρμοστεί σε νέες εργασίες αποκλειστικά από παραδείγματα που του δίνεις εντός της τρέχουσας συζήτησης, χωρίς καμία αλλαγή στα εσωτερικά βάρη (weights). Αυτό ονομάζεται μάθηση εντός συμφραζομένων (in-context learning) και εξαφανίζεται εντελώς μόλις τελειώσει η συζήτηση. Η πρακτική αξία αυτής της τεχνικής είναι σημαντική. Δύο ή τρία καλά επιλεγμένα παραδείγματα στην αρχή του ερωτήματος αλλάζουν δραματικά την ποιότητα των αποτελεσμάτων, και μάλιστα πολύ περισσότερο από μια εκτενή περιγραφή του ζητούμενου. Η τεχνική ονομάζεται μάθηση με λίγα παραδείγματα (few-shot learning) και δεν απαιτεί τεχνική γνώση. Απαιτεί μόνο να έχεις ένα σαφές παράδειγμα του αποτελέσματος που θέλεις.

For the Prince
Άνοιξη 2026