Ανάμεσα στις πολλές μοναδικές εμπειρίες που αποκομίζει κανείς από το ρεπορτάζ για την τεχνητή νοημοσύνη είναι και αυτό: Σε μια νεαρή βιομηχανία που κατακλύζεται από ντόρο και χρήμα, ο ένας μετά τον άλλον μου λένε ότι θέλουν απεγνωσμένα να νομοθετηθούν, ακόμη και αν αυτό τους επιβραδύνει. Στην πραγματικότητα, ειδικά επειδή θα τους επιβραδύνει.
Αυτό που μου λένε είναι προφανές σε όποιον παρακολουθεί. Ο ανταγωνισμός τους αναγκάζει να πηγαίνουν πολύ γρήγορα και να περιορίζουν πολύ τις διαδικασίες. Αυτή η τεχνολογία είναι πολύ σημαντική για να αφεθεί σε μια κούρσα μεταξύ της Microsoft, της Google, της Meta και μερικών άλλων εταιρειών. Αλλά καμία εταιρεία δεν μπορεί να επιβραδύνει σε έναν ασφαλή ρυθμό χωρίς να διακινδυνεύσει να μείνει εκτός παιχνιδιού. Εδώ είναι που έρχεται η κυβέρνηση – ή τουλάχιστον έτσι ελπίζουν.
Ένα μέρος για να ξεκινήσουμε είναι τα πλαίσια που έχουν ήδη προτείνει οι υπεύθυνοι χάραξης πολιτικής για τη διακυβέρνηση της Α.Ι. Οι δύο σημαντικότερες προτάσεις, τουλάχιστον στη Δύση, είναι το ” Σχέδιο για ένα Χάρτη Δικαιωμάτων για την Α.Ι.”, το οποίο ο Λευκός Οίκος πρότεινε το 2022, και η Πράξη για την Τεχνητή Νοημοσύνη, την οποία η Ευρωπαϊκή Επιτροπή πρότεινε το 2021. Στη συνέχεια, την περασμένη εβδομάδα, η Κίνα δημοσίευσε την τελευταία ρυθμιστική της προσέγγιση.
Ας ξεκινήσουμε με την ευρωπαϊκή πρόταση, καθώς ήρθε πρώτη. Ο νόμος για την τεχνητή νοημοσύνη προσπαθεί να ρυθμίσει τα συστήματα τεχνητής νοημοσύνης ανάλογα με τον τρόπο χρήσης τους. Αφορά ιδιαίτερα τις χρήσεις υψηλού κινδύνου, οι οποίες περιλαμβάνουν τα πάντα, από την επίβλεψη κρίσιμων υποδομών έως τη βαθμολόγηση γραπτών και τον υπολογισμό πιστωτικών βαθμολογιών και τη λήψη αποφάσεων πρόσληψης. Οι χρήσεις υψηλού κινδύνου, με άλλα λόγια, είναι οποιαδήποτε χρήση κατά την οποία η ζωή ή ο βιοπορισμός ενός ατόμου μπορεί να εξαρτάται από μια απόφαση που λαμβάνεται από έναν αλγόριθμο μηχανικής μάθησης.
Η Ευρωπαϊκή Επιτροπή περιέγραψε αυτή την προσέγγιση ως “ανθεκτική στο μέλλον”, κάτι που αποδείχθηκε αναμενόμενα αλαζονικό, καθώς τα νέα συστήματα τεχνητής νοημοσύνης έχουν ήδη προκαλέσει χάος στους καθαρούς ορισμούς του νομοσχεδίου. Η εστίαση στις περιπτώσεις χρήσης είναι μια χαρά για περιορισμένα συστήματα που έχουν σχεδιαστεί για μια συγκεκριμένη χρήση, αλλά αποτελεί λάθος ως προς την κατηγοριοποίηση όταν εφαρμόζεται σε συστήματα γενικευμένης χρήσης. Μοντέλα όπως το GPT-4 δεν κάνουν τίποτα άλλο εκτός από το να προβλέπουν την επόμενη λέξη σε μια ακολουθία. Μπορείτε να τα χρησιμοποιήσετε για να γράψετε κώδικα, να περάσετε τις εξετάσεις του δικηγορικού συλλόγου, να συντάξετε συμβόλαια, να δημιουργήσετε πολιτικές εκστρατείες, να σχεδιάσετε τη στρατηγική της αγοράς και να κατευθύνετε συντρόφους τεχνητής νοημοσύνης ή sexbots. Προσπαθώντας να ρυθμίσει τα συστήματα ανά περίπτωση χρήσης, ο νόμος για την τεχνητή νοημοσύνη καταλήγει να λέει πολύ λίγα για το πώς να ρυθμίσει το υποκείμενο μοντέλο που τροφοδοτεί όλες αυτές τις εφαρμογές.
Οι απρόβλεπτες συνέπειες είναι άφθονες. Η A.I.A. επιβάλλει, για παράδειγμα, ότι σε περιπτώσεις υψηλού κινδύνου, “τα σύνολα δεδομένων εκπαίδευσης, επικύρωσης και δοκιμής πρέπει να είναι συναφή, αντιπροσωπευτικά, χωρίς σφάλματα και πλήρη”. Αλλά αυτό που δείχνουν τα μεγάλα γλωσσικά μοντέλα είναι ότι τα πιο ισχυρά συστήματα είναι αυτά που εκπαιδεύονται στα μεγαλύτερα σύνολα δεδομένων. Αυτά τα σύνολα δεν μπορεί να είναι εύλογα απαλλαγμένα από σφάλματα, και δεν είναι σαφές τι θα σήμαινε για αυτά να είναι “αντιπροσωπευτικά”. Υπάρχει μια ισχυρή επιχειρηματολογία για τη διαφάνεια των δεδομένων, αλλά δεν νομίζω ότι η Ευρώπη σκοπεύει να αναπτύξει ασθενέστερα, λιγότερο ικανά συστήματα σε όλα, από τη βαθμολόγηση των εξετάσεων έως τις υποδομές..
Το άλλο πρόβλημα με την προσέγγιση της περίπτωσης χρήσης είναι ότι αντιμετωπίζει την Α.Ι. ως μια τεχνολογία που θα σέβεται, από μόνη της, τα όρια. Αλλά η έλλειψη σεβασμού των ορίων είναι αυτό που ανησυχεί περισσότερο τους ανθρώπους που εργάζονται σε αυτά τα συστήματα. Φανταστείτε ότι ο “προσωπικός βοηθός” αξιολογείται ως περίπτωση χρήσης χαμηλού κινδύνου και ένα υποθετικό GPT-6 αναπτύσσεται για να τροφοδοτήσει έναν απολύτως υπέροχο προσωπικό βοηθό. Το σύστημα ρυθμίζεται έτσι ώστε να είναι εξαιρετικά καλό στην αλληλεπίδραση με τους ανθρώπους και στην επίτευξη ποικίλων στόχων στον πραγματικό κόσμο. Αυτό είναι υπέροχο, μέχρι που κάποιος του ζητά να εξασφαλίσει μια κράτηση σε εστιατόριο στο πιο μοδάτο μέρος της πόλης και το σύστημα αποφασίζει ότι ο μόνος τρόπος για να το κάνει είναι να προκαλέσει μια αναστάτωση που οδηγεί το ένα τρίτο των θαμώνων εκείνης της βραδιάς να ακυρώσουν τις κρατήσεις τους.
Ακούγεται σαν επιστημονική φαντασία; Λυπάμαι, αλλά αυτού του είδους τα προβλήματα είναι επιστημονικά γεγονότα. Όποιος εκπαιδεύει αυτά τα συστήματα τα έχει παρακολουθήσει να βρίσκουν λύσεις σε προβλήματα που οι άνθρωποι δεν θα σκεφτόντουσαν ποτέ, και για καλό λόγο. Η OpenAI, για παράδειγμα, εκπαίδευσε ένα σύστημα να παίζει το παιχνίδι αγώνων με βάρκες CoastRunners και ενσωμάτωσε θετική επιβράβευση για την επίτευξη υψηλής βαθμολογίας. Θεωρήθηκε ότι αυτό θα έδινε στο σύστημα ένα κίνητρο για να τερματίσει τον αγώνα. Όμως το σύστημα αντ’ αυτού ανακάλυψε “μια απομονωμένη λιμνοθάλασσα όπου μπορεί να στρίβει σε έναν μεγάλο κύκλο και να χτυπάει επανειλημμένα τρεις στόχους, χρονομετρώντας την κίνησή του έτσι ώστε να χτυπάει πάντα τους στόχους ακριβώς τη στιγμή που αυτοί επανακάμπτουν”. Η επιλογή αυτής της στρατηγικής σήμαινε “επανειλημμένα να παίρνει φωτιά, να συγκρούεται με άλλα σκάφη και να πηγαίνει ανάποδα στην πίστα”, αλλά σήμαινε επίσης την υψηλότερη βαθμολογία, οπότε αυτό έκανε το μοντέλο.
Αυτό είναι ένα παράδειγμα του “κινδύνου ευθυγράμμισης”, του κινδύνου ότι αυτό που θέλουμε να κάνουν τα συστήματα και αυτό που θα κάνουν στην πραγματικότητα μπορεί να αποκλίνουν, και ίσως να αποκλίνουν βίαια. Ο περιορισμός του κινδύνου ευθυγράμμισης απαιτεί τον περιορισμό των ίδιων των συστημάτων, όχι μόνο των τρόπων με τους οποίους επιτρέπουμε στους ανθρώπους να τα χρησιμοποιούν.
Το Σχέδιο του Λευκού Οίκου για ένα νομοσχέδιο για τα δικαιώματα της τεχνητής νοημοσύνης είναι μια πιο ενδιαφέρουσα πρόταση. Όμως, ενώ η προσέγγιση της Ευρωπαϊκής Επιτροπής είναι πολύ εξειδικευμένη, το σχέδιο του Λευκού Οίκου ενδέχεται να είναι πολύ ευρύ. Κανένα σύστημα τεχνητής νοημοσύνης σήμερα δεν πλησιάζει να τηρήσει το πλαίσιο, και δεν είναι σαφές ότι κάποιο από αυτά θα μπορούσε να το κάνει.
“Τα αυτοματοποιημένα συστήματα θα πρέπει να παρέχουν εξηγήσεις που είναι τεχνικά έγκυρες, ουσιαστικές και χρήσιμες σε εσάς και σε οποιονδήποτε χειριστή ή άλλον που πρέπει να κατανοήσει το σύστημα, και βαθμονομημένες ανάλογα με το επίπεδο κινδύνου με βάση το πλαίσιο”, αναφέρει το σχέδιο. Μου άρεσει. Αλλά κάθε ειδικός με τον οποίο μιλάω λέει βασικά το ίδιο πράγμα: Δεν έχουμε σημειώσει καμία πρόοδο όσον αφορά την ερμηνευσιμότητα, και ενώ υπάρχει σίγουρα μια πιθανότητα να το κάνουμε, είναι μόνο μια πιθανότητα. Προς το παρόν, δεν έχουμε ιδέα τι συμβαίνει μέσα σε αυτά τα συστήματα πρόβλεψης. Αναγκάστε τα να δώσουν μια εξήγηση, και αυτή που δίνουν είναι η ίδια μια πρόβλεψη αυτού που θέλουμε να ακούσουμε.
Το προσχέδιο αναφέρει επίσης ότι “τα αυτοματοποιημένα συστήματα θα πρέπει να αναπτύσσονται με διαβούλευση με διαφορετικές κοινότητες, ενδιαφερόμενους φορείς και εμπειρογνώμονες του τομέα για τον εντοπισμό των ανησυχιών, των κινδύνων και των πιθανών επιπτώσεων του συστήματος”. Αυτό είναι ζωτικής σημασίας, και θα ήταν ενδιαφέρον να δούμε τον Λευκό Οίκο ή το Κογκρέσο να εξειδικεύουν το πόση διαβούλευση απαιτείται, ποιος τύπος είναι επαρκής και πώς οι ρυθμιστικές αρχές θα διασφαλίσουν ότι οι επιθυμίες του κόσμου ακολουθούνται πραγματικά.
Συνεχίζει τονίζοντας ότι “τα συστήματα θα πρέπει να υποβάλλονται σε δοκιμές πριν από την εγκατάσταση, σε εντοπισμό και μετριασμό των κινδύνων και σε συνεχή παρακολούθηση που αποδεικνύουν ότι είναι ασφαλή και αποτελεσματικά με βάση την προβλεπόμενη χρήση τους”. Και αυτό, επίσης, είναι απαραίτητο, αλλά δεν κατανοούμε αυτά τα συστήματα αρκετά καλά για να τα δοκιμάσουμε και να τα ελέγξουμε αποτελεσματικά. Η OpenAI θα προτιμούσε σίγουρα οι χρήστες να μην συνεχίζουν να σπάνε το GPT-4 για να το κάνουν να αγνοεί τους περιορισμούς της εταιρείας, αλλά η εταιρεία δεν έχει καταφέρει να σχεδιάσει ένα πλαίσιο δοκιμών ικανό να το πλησιάσει.
Ίσως η πιο ενδιαφέρουσα από τις προτάσεις του Σχεδίου είναι ότι “θα πρέπει να έχετε τη δυνατότητα να αποχωρήσετε από τα αυτοματοποιημένα συστήματα υπέρ μιας ανθρώπινης εναλλακτικής λύσης, όπου χρειάζεται”. Σε αυτή την πρόταση, ο διάβολος κρύβεται στον ορισμό της έννοιας “χρειάζεται”. Αλλά η υποκείμενη αρχή αξίζει να εξεταστεί. Θα πρέπει να υπάρχει δυνατότητα εξαίρεσης από τα συστήματα Α.Ι.; Ποια από αυτά; Πότε μια ρήτρα εξαίρεσης είναι μια πραγματική επιλογή και σε ποιο σημείο γίνεται απλώς μια παρότρυνση να αποσυρθεί κανείς εντελώς από την κοινωνία, όπως λέγοντας ότι μπορεί να επιλέξει να μη χρησιμοποιεί το διαδίκτυο ή τις μεταφορές με οχήματα ή τις τραπεζικές υπηρεσίες, αν το επιθυμεί.
Στη συνέχεια, υπάρχουν οι προτεινόμενοι νέοι κανόνες της Κίνας. Δεν θα πω πολλά γι’ αυτούς, εκτός από το να σημειώσω ότι είναι πολύ πιο περιοριστικοί από οτιδήποτε φαντάζονται οι Ηνωμένες Πολιτείες ή η Ευρώπη, γεγονός που με κάνει πολύ επιφυλακτικό απέναντι στα επιχειρήματα ότι βρισκόμαστε σε έναν αγώνα δρόμου με την Κίνα για την ανάπτυξη προηγμένης τεχνητής νοημοσύνης. Η Κίνα φαίνεται απολύτως πρόθυμη να παραλύσει την ανάπτυξη της γενικής τεχνητής νοημοσύνης, ώστε να μπορέσει να επικεντρωθεί σε συστήματα που θα εξυπηρετούν πιο αξιόπιστα τα κρατικά συμφέροντα.
Η Κίνα απαιτεί, για παράδειγμα, “το περιεχόμενο που παράγεται με τη χρήση της παραγωγικής τεχνητής νοημοσύνης πρέπει να αντικατοπτρίζει τις βασικές σοσιαλιστικές αξίες και δεν μπορεί να περιέχει: ανατροπή της κρατικής εξουσίας, ανατροπή του σοσιαλιστικού συστήματος, υποκίνηση αυτονομισμού, βλάβη της εθνικής ενότητας, διάδοση της τρομοκρατίας ή του εξτρεμισμού, διάδοση εθνοτικού μίσους ή εθνοτικών διακρίσεων, βίαιες, άσεμνες ή σεξουαλικές πληροφορίες, ψευδείς πληροφορίες, καθώς και περιεχόμενο που μπορεί να διαταράξει την οικονομική ή κοινωνική τάξη”.
Αν η Κίνα εννοεί αυτά που λέει, ο τομέας της Α.Ι. έχει πολλή δουλειά να κάνει. Η Α.Ι. εξελίσσεται τόσο γρήγορα στις Ηνωμένες Πολιτείες ακριβώς επειδή επιτρέπουμε σε απρόβλεπτα συστήματα να πολλαπλασιάζονται. Η προβλέψιμη Α.Ι. είναι, προς το παρόν, η ασθενέστερη Α.Ι.
Δεν θα έφτανα στο σημείο που φτάνει η Κίνα με τη ρύθμιση της τεχνητής νοημοσύνης. Αλλά πρέπει να προχωρήσουμε πολύ περισσότερο από ό,τι έχουμε κάνει – και γρήγορα, προτού αυτά τα συστήματα αποκτήσουν πάρα πολλούς χρήστες και οι εταιρείες εθιστούν στα κέρδη και αρχίσουν να αντιστέκονται στις ρυθμιστικές αρχές. Χαίρομαι που βλέπω ότι ο Τσακ Σούμερ, ο επικεφαλής της πλειοψηφίας της Γερουσίας, ξεκινά μια πρωτοβουλία για τη ρύθμιση της τεχνητής νοημοσύνης. Και δεν θα προσποιηθώ ότι ξέρω ακριβώς τι πρέπει να κάνουν αυτός και οι συνάδελφοί του. Αλλά αφού μίλησα με πολλούς ανθρώπους που ασχολούνται με αυτά τα προβλήματα και διάβασα πολλά έγγραφα πολιτικής που φαντάζονται λύσεις, υπάρχουν μερικές κατηγορίες στις οποίες θα έδινα προτεραιότητα.
Η πρώτη είναι το ζήτημα – και είναι ζήτημα – της ερμηνευσιμότητας. Όπως είπα παραπάνω, δεν είναι σαφές ότι η ερμηνευσιμότητα είναι εφικτή. Αλλά χωρίς αυτήν, θα παραδίδουμε όλο και μεγαλύτερο μέρος της κοινωνίας μας σε αλγορίθμους που δεν καταλαβαίνουμε. Αν μου λέγατε ότι κατασκευάζετε ένα πυρηνικό εργοστάσιο νέας γενιάς, αλλά δεν υπάρχει τρόπος να λάβετε ακριβείς ενδείξεις για το αν ο αντιδραστήρας πρόκειται να εκραγεί, θα έλεγα ότι δεν πρέπει να το κατασκευάσετε. Είναι η τεχνητή νοημοσύνη σαν αυτό το εργοστάσιο; Δεν είμαι σίγουρος. Αλλά αυτό είναι ένα ερώτημα που πρέπει να εξετάσει η κοινωνία, όχι ένα ερώτημα που πρέπει να αποφασίσουν μερικές εκατοντάδες τεχνολόγοι. Τουλάχιστον, νομίζω ότι αξίζει να επιμείνουμε ότι οι εταιρείες Α.Ι. ξοδεύουν λίγο περισσότερο χρόνο και χρήμα για να ανακαλύψουν αν αυτό το πρόβλημα είναι επιλύσιμο.
Η δεύτερη είναι η ασφάλεια. Παρόλη τη συζήτηση για έναν αγώνα δρόμου της τεχνητής νοημοσύνης με την Κίνα, ο ευκολότερος τρόπος για την Κίνα – ή για οποιαδήποτε άλλη χώρα, ή ακόμη και για οποιαδήποτε συλλογικότητα χάκερ – να προλάβει την τεχνητή νοημοσύνη είναι απλώς να κλέψει τη δουλειά που γίνεται εδώ. Κάθε εταιρεία που κατασκευάζει συστήματα Α.Ι. από μια ορισμένη κλίμακα και πάνω θα πρέπει να λειτουργεί με ενισχυμένη κυβερνοασφάλεια. Είναι γελοίο να εμποδίζουμε την εξαγωγή προηγμένων ημιαγωγών στην Κίνα, αλλά απλά να ελπίζουμε ότι ο κάθε 26χρονος μηχανικός της OpenAI ακολουθεί τα κατάλληλα μέτρα ασφαλείας.
Η τρίτη είναι οι αξιολογήσεις και οι έλεγχοι. Με αυτόν τον τρόπο θα αξιολογούνται τα μοντέλα για τα πάντα, από την προκατάληψη μέχρι την ικανότητα εξαπάτησης των ανθρώπων και την τάση να αναπαράγονται στο διαδίκτυο.
Αυτή τη στιγμή, οι δοκιμές που γίνονται για να διασφαλιστεί ότι τα μεγάλα μοντέλα είναι ασφαλή είναι εθελοντικές, αδιαφανείς και ασυνεπείς. Δεν έχουν γίνει αποδεκτές βέλτιστες πρακτικές σε ολόκληρο τον κλάδο και δεν έχει γίνει αρκετή δουλειά για τη δημιουργία συστημάτων δοκιμών στα οποία το κοινό θα μπορεί να έχει εμπιστοσύνη. Αυτό πρέπει να αλλάξει – και μάλιστα γρήγορα. Τα αεροπλάνα σπάνια συντρίβονται επειδή η Ομοσπονδιακή Υπηρεσία Πολιτικής Αεροπορίας κάνει άριστα τη δουλειά της. Ο Οργανισμός Τροφίμων και Φαρμάκων είναι αναμφισβήτητα πολύ αυστηρός στις αξιολογήσεις των νέων φαρμάκων και συσκευών, αλλά είναι πολύ καλός στο να κρατάει μη ασφαλή προϊόντα εκτός αγοράς. Η κυβέρνηση πρέπει να κάνει περισσότερα εδώ από το να συντάσσει απλώς κάποια πρότυπα. Πρέπει να κάνει επενδύσεις και να οικοδομήσει θεσμούς για τη διεξαγωγή της παρακολούθησης.
Η τέταρτη είναι η νομική ευθύνη. Θα υπάρξει ο πειρασμός να αντιμετωπίσουμε τα συστήματα τεχνητής νοημοσύνης με τον τρόπο που αντιμετωπίζουμε τις πλατφόρμες κοινωνικής δικτύωσης και να απαλλάξουμε τις εταιρείες που τα κατασκευάζουν από τις βλάβες που προκαλούν όσοι τα χρησιμοποιούν. Πιστεύω ότι αυτό θα ήταν λάθος. Ο τρόπος για να καταστήσουμε τα συστήματα Α.Ι. ασφαλή είναι να δώσουμε στις εταιρείες που σχεδιάζουν τα μοντέλα έναν καλό λόγο για να τα καταστήσουν ασφαλή. Το να τις κάνουμε να φέρουν τουλάχιστον κάποια ευθύνη για το τι κάνουν τα μοντέλα τους θα ενθάρρυνε πολύ περισσότερη σύνεση.
Η πέμπτη είναι, ελλείψει καλύτερου όρου, η ανθρωπιά. Θέλουμε έναν κόσμο γεμάτο με συστήματα τεχνητής νοημοσύνης που έχουν σχεδιαστεί για να φαίνονται ανθρώπινα στις αλληλεπιδράσεις τους με τους ανθρώπους; Διότι µην γελιέστε: Αυτό είναι μια σχεδιαστική απόφαση, όχι μια αναδυόμενη ιδιότητα του κώδικα μηχανικής μάθησης. Τα συστήματα τεχνητής νοημοσύνης μπορούν να ρυθμιστούν ώστε να παρέχουν βαρετές και γεμάτες επιφυλάξεις απαντήσεις, ή μπορούν να φτιαχτούν ώστε να επιδεικνύουν σπινθηροβόλες προσωπικότητες και να αναμειγνύονται στις συναισθηματικές ζωές των ανθρώπων.
Νομίζω ότι η τελευταία κατηγορία προγραμμάτων έχει τη δυνατότητα να κάνει πολύ καλό αλλά και πολύ κακό, οπότε οι συνθήκες υπό τις οποίες λειτουργούν θα πρέπει να μελετηθούν προσεκτικά. Θα ήταν, για παράδειγμα, λογικό να τεθούν αρκετά αυστηρά όρια στα είδη των προσωπικοτήτων που μπορούν να δημιουργηθούν για συστήματα τεχνητής νοημοσύνης που αλληλεπιδρούν με παιδιά. Θα ήθελα επίσης να δω πολύ αυστηρά όρια σε κάθε δυνατότητα να κερδίζει κανείς χρήματα χρησιμοποιώντας συντρόφους Α.Ι. για να χειραγωγεί τη συμπεριφορά των καταναλωτών.
Ο κατάλογος αυτός δεν είναι εξαντλητικός. Άλλοι θα έχουν διαφορετικές προτεραιότητες και διαφορετικές απόψεις. Και τα καλά νέα είναι ότι νέες προτάσεις δημοσιεύονται σχεδόν καθημερινά. Οι συστάσεις πολιτικής του Future of Life Institute είναι ισχυρές, και νομίζω ότι η εστίαση του A.I. Objectives Institute στα ανθρώπινα ιδρύματα που θα σχεδιάζουν και θα κατέχουν τα συστήματα A.I. είναι κρίσιμη. Αλλά ένα πράγμα που δεν πρέπει να φοβούνται οι ρυθμιστικές αρχές είναι οι ατελείς κανόνες που επιβραδύνουν μια νέα βιομηχανία. Για πρώτη φορά, μεγάλο μέρος αυτής της βιομηχανίας αναζητά απεγνωσμένα κάποιον που θα την βοηθήσει να επιβραδύνει.
Έζρα Κλάιν
Μετάφραση: Κώστας Ψιούρης
