]> totsipaki.net Git - Published.git/blob - AI_MythvsReallity/ergasia.ms
Rename
[Published.git] / AI_MythvsReallity / ergasia.ms
1 .R1 \" Citation commands start
2 database ergasia.ref # Path to bibliography file
3 accumulate # Collates References at end of documentation
4 move-punctuation # Ensures that citation appears before full-stop.
5 label "(A.n|Q) ', ' (D.+yD.y%a*D.-y)" # Actual format of citation (e.g. (Author, Date)
6 bracket-label " (" ) "; " # Bracket style
7 no-label-in-reference # Does not display full citation (e.g. Author, Date) within References
8 .R2 \" Citation commands end
9 .ds FAM Tinos
10 .ds REFERENCES Βιβλιογραφία
11
12 .TL
13 Τεχνητή νοημοσύνη: μύθοι και πραγματικότητα
14
15 .AU
16 Παραφέστας Νίκος
17
18 .AI
19 «Δίκαιο και Κοινωνία της Πληροφορίας»
20
21 Δ.Π.Μ.Σ. «Δίκαιο και Πληροφορική»
22
23 Τμήματα Εφαρμοσμένης Πληροφορικής Πανεπιστημίου Μακεδονίας
24 και Νομικής Δημοκρίτειου Πανεπιστημίου Θράκης
25
26
27 .ND
28 02-06-2024
29
30
31 .LP
32
33 .bp
34
35 .QP
36 Αγόρι: Μην προσπαθείς να λυγίσεις το κουτάλι. Αυτό είναι αδύνατο. Αντίθετα ... προσπάθησε μόνο να κατανοήσεις την αλήθεια.
37
38 Νίο: Ποια αλήθεια;
39
40 Αγόρι: Ότι δεν υπάρχει κουτάλι. Τότε θα καταλάβεις ότι δεν είναι το κουτάλι που λυγίζει, αλλά εσύ.
41
42 .ce
43 Απόσπασμα από την ταινία "The Matrix" (1999)
44
45 .bp
46 .SH 1
47 Εισαγωγή
48 .PP
49 Τα ΜΜΕ καθημερινά αναγγέλλουν την έλευση μιας νέας εποχής για την ανθρωπότητα. Η «τεχνητή νοημοσύνη» («AI») ήρθε για να αλλάξει τα πάντα. Η ακαδημαϊκή κοινότητα (σε μεγάλο μέρος) το αποδέχτηκε, οι επιχειρήσεις το χρηματοδότησαν και το κράτος το νομοθέτησε. Είναι όμως τα πράγματα τόσο απλά; Για αρχή ας ξεκαθαρίσουμε τις έννοιες.
50 .NH 1
51 Νοημοσύνη
52 .PP
53 Για να εξετάσουμε την νοημοσύνη των μηχανών πρέπει πρώτα να αναζητήσουμε πως εμείς την κατανοούμε σαν έννοια. Για παράδειγμα, η εγκυκλοπαίδεια "Britannica" δίνει των ακόλουθο ορισμό\** για την ανθρώπινη νοημοσύνη:
54 .FS
55 Sternberg, Robert J.. "human intelligence". Encyclopedia Britannica, https://web.archive.org/web/20240528050757/https://www.britannica.com/science/human-intelligence-psychology.
56 .FE
57 .QP
58 Νοητική ποιότητα που αποτελείται από την ικανότητα να μαθαίνει κανείς από την εμπειρία, να προσαρμόζεται σε νέες καταστάσεις, να κατανοεί και να χειρίζεται αφηρημένες έννοιες και να χρησιμοποιεί τη γνώση για να χειραγωγεί το περιβάλλον του.
59 .LP
60
61 Αυτός ο ορισμός είναι και αρκετά αφηρημένος. Δεν θα μπορούσε όμως να είναι διαφορετικά. Η νοημοσύνη είναι μια εξαιρετικά πλατιά έννοια και, σε φιλοσοφικό επίπεδο, υπάρχει πληθώρα προσεγγίσεων για τον ορισμό της.
62
63 Μία από αυτές είναι η
64 .B "θεωρία της πολλαπλής νοημοσύνης".
65 Σύμφωνα με αυτή, η νοημοσύνη πρέπει να εξετάζεται σε διαφορετικά διακριτά επίπεδα, αντί ενός γενικού. Κατά τον Gardner, προτείνονται τα ακόλουθα 8 είδη
66 .[
67 edu_phsycology2008
68 .]
69 :
70 .IP
71 \[bu]
72 .B "Μουσική νοημοσύνη"
73
74 Αφορά την ικανότητα στην αντίληψη των ήχων, των τόνων και του ρυθμού της μουσικής.
75
76 \[bu]
77 .B "Χωροταξική νοημοσύνη"
78
79 Σχετίζεται με την ικανότητα του μυαλού να αντιλαμβάνεται τον χώρο.
80
81 \[bu]
82 .B "Γλωσσική νοημοσύνη"
83
84 Αφορά την ικανότητα αναπαραγωγής γραπτού και προφορικού λόγου.
85
86 \[bu]
87 .B "Λογικομαθηματική νοημοσύνη"
88
89 Σχετίζεται με αριθμούς, με τη λογική, την αφαιρετική ικανότητα και την ικανότητα επαγωγικής και απαγωγικής λογικής
90
91 \[bu]
92 .B "Κιναισθητική νοημοσύνη"
93
94 Καθορίζει την αδρή και λεπτή κινητικότητα και την ικανότητα του σώματος να κινείται με συντονισμό.
95
96 \[bu]
97 .B "Διαπροσωπική νοημοσύνη"
98
99 Η ικανότητα των ανθρώπων στην κατανόηση άλλων. Στο να δείχνουν ενσυναίσθηση και να ανταλλάσουν απόψεις.
100
101 \[bu]
102 .B "Ενδοπροσωπική νοημοσύνη"
103
104 Η κατανόηση του εσωτερικού μας κόσμου.
105
106 \[bu]
107 .B "Νατουραλιστική νοημοσύνη"
108
109 Η σχέση μας με το φυσικό κόσμο.
110
111 Τα παραπάνω απικονίζονται σχηματικά και στην εικόνα 1.
112 .PSPIC "media/Multiple-intelligence.eps" 4
113 .QP
114 .ce
115 Εικόνα 1: Θεωρία της πολλαπλής νοημοσύνης\**.
116 .FS
117 Από Sajaganesandip, https://wikiless.org/wiki/File:Multiple-intelligence.jpg, Άδεια: CC BY-SA 4.0
118 .FE
119 .NH 1
120 Τεχνητή Νοημοσύνη
121 .PP
122 .NH 2
123 Εισαγωγή
124 .PP
125 Στο προηγούμενο κεφάλαιο καταλήξαμε στο ότι η ευφυΐα είναι ένα σύνθετο ζήτημα με πολλαπλές ερμηνείες για να χωρέσει σε έναν απλό ορισμό. Μια ολιστική προσέγγιση, όπως αυτή του Gardner, δίνει μια συγκεκριμένη κατεύθυνση για την κατανόηση της πολυεπίπεδης πολυπλοκότητας της ανθρώπινης υπόστασης. Αυτήν η πολυπλοκότητα είναι αποτέλεσμα εκατοντάδων χιλιάδων χρόνων εξέλιξης, ενός μονοκύτταρου οργανισμού σε αυτό που πλέον είναι ο σύγχρονος άνθρωπος. Η τεχνητή νοημοσύνη, από την άλλη έχει μόλις λίγα χρόνια ζωής.
126 .NH 2
127 Ιστορία (σύντομη) της τεχνητής νοημοσύνης
128 .PP
129 Από τα μέσα της προηγούμενης δεκαετίας, από τότε δηλαδή που εμφανίστηκαν οι πρώτοι ηλεκτρονικοί υπολογιστές, εμφανίστηκαν ερευνήτριες που ασχολούταν με τον τομέα της τεχνητής νοημοσύνης. Τα πιο σημαντικά ιστορικά στάδια του προηγούμενου αιώνα είναι\**:
130 .FS
131 https://sitn.hms.harvard.edu/flash/2017/history-artificial-intelligence/
132 .FE
133
134 .B "[1927-1946] Η Χρυσή εποχή της επιστημονικής φαντασίας":
135 Είναι η εποχή που ταινίες όπως η "Metropolis" (1927) και «ο Μάγος του OZ» (1936) εμφάνιζαν ανθρωποειδής μηχανές με συναισθήματα. Είναι οι ταινείες που ενέπνευσαν τους πρώτους επιστήμονες που ασχολήθηκαν με την τεχνητή νοημοσύνη.
136
137 .B "[1949] Machester Mark 1, κατασκευάζεται ο πρώτος υπολογιστής με δυνατότητα αποθήκευσης πληροφοριών":
138 Έως τότε οι υπολογιστές μπορούσαν μόνο να εκτελέσουν εντολές αλλά όχι να αποθηκεύσουν δεδομένα.
139
140 .B "[1950] «Μπορούν οι μηχανές να σκέφτονται;» από τον Άλαν Τούρινγκ":
141 Στην μελέτη του ο Τούρινγκ εξετάζει την κατασκευή ευφυών μηχανών και για πρώτη φορά εμφανίζεται το «τεστ Τούρινγκ». Σύμφωνα με αυτό αν δεν μπορεί να γίνει αντιληπτό σε έναν άνθρωπο ότι μία συζήτησή του με μια μηχανή (μέσω τηλέγραφου) δεν είναι με πραγματικό άνθρωπο, τότε η μηχανή «σκέφτεται».
142
143 .B "[1955] Κατασκευάζεται το πρώτο πρόγραμμα τεχνητής νοημοσύνης, «Logic Theorists»:
144 Για πολλές το πρώτο πρόγραμμα τεχνητής νοημοσύνης. Πραγματοποιούσε επίλυση μαθηματικών προβλημάτων με σχετική επιτυχία.
145
146 .B "[1956] Το καλοκαιρινό ερευνητικό πρόγραμμα Dartmouth":
147 Διάφοροι επιστήμονες συναντήθηκαν για να συζητήσουν για την τεχνητή νοημοσύνη. Εκτός από την καθιέρωση του ονόματος, θεωρείται ότι εκεί γεννήθηκε η τεχνητή νοημοσύνη από τον ιδρυτή του συνεδρίου τον Μαρβιν Μισκι.
148
149 .B "[1963] Η DARPA χρηματοδοτεί το MIT":
150 Οι επιτυχίες στον τομέα της τεχνητής νοημοσύνης, οδηγούν στη χρηματοδότηση πολλών ινστιτούτων από κρατικές υπηρεσίες των ΗΠΑ για έρευνα. Ένα παράδειγμα είναι η Defense Advanced Research Projects Agency.
151
152 .B "[1965] Ο νόμος του Μουρ":
153 Πρόκειται για μια ιστορική εμπειρική παρατήρηση, ότι ο αριθμός των τρανζίστορ ενός ολοκληρωμένου κυκλώματος διπλασιάζεται κάθε δύο χρόνια. Αυτή η πρόβλεψη περιγράφει την τάση στην κατασκευή επεξεργαστών ηλεκτρονικών υπολογιστών να αυξάνουν σε ισχύ και να μειώνονται σε μέγεθος. Γενικά, έως σήμερα, έχει επιβεβαιωθεί με μικρές σχετικά αποκλίσεις.
154
155 .B "[1968 - 1970] Εποχή της ευφορίας:
156 Καθώς η ευφορία μεγάλωνε (μαζί με την χρηματοδότηση), υπήρχε μεγάλη (τελικά ανεδαφική) αισιοδοξία. Μερικές από τις δηλώσεις τις εποχής ήταν:
157 .QP
158 «Έως το 2001 θα έχουμε μηχανές με νοημοσύνη η οποία θα ξεπερνάει αυτή των ανθρώπων»\**
159 .FS
160 Άρθουρ Κλαρκ και Στιβ Κουμπρικ
161 .FE
162
163 «Σε 3 με 8 χρόνια θα έχουμε μηχανή με γενική εφυία όση ενός ανθρώπου»\**
164 .FS
165 Δήλωση του Mαρβιν Μισκι στο περιδικό Time
166 .FE
167 .LP
168
169 .B "[1980] Ο Εντουαρντ Φειγκενμπαουν παρουσιάζει τα «έμπειρα συστήματα»:
170 Το πρόγραμμα ρωτούσε έναν εμπειρογνώμονα σε έναν τομέα πώς να ανταποκριθεί σε μια δεδομένη κατάσταση και, μόλις αυτό γινόταν πρακτικά για κάθε περίπτωση, οι μη ειδικοί θα μπορούσαν να λάβουν συμβουλές από αυτό. Τα έμπειρα συστήματα χρησιμοποιήθηκαν ευρέως στις βιομηχανίες.
171
172 .B "[1980] Το «πρόγραμμα 5ης γενιάς υπολογιστικών συστημάτων» από την Ιαπωνία:
173 Η Ιαπωνία έως το 1990 διέθεσε 400 εκατομμύρια δολάρια στην έρευνα σχετικά με την τεχνητή νοημοσύνη. Οι περισσότεροι στόχοι του προγράμματος απέτυχαν και η χρηματοδότηση σταμάτησε.
174
175 .B "[1986] Κατασκευάζεται το Navlab, το πρώτο αυτόνομο όχημα
176
177 .B "[1997] Ο υπερυπολογιστής «Deep Blue», νικάει τον Κασπάροφ στο σκάκι:
178 Αποτέλεσε πρώτη είδηση σε όλα τα δελτία ειδήσεων της εποχής. Ο υπολογιστής ανέλυε όλες τις πιθανές κινήσεις (brute force) του αντιπάλου για να επιλέξει την επόμενή του κίνηση.
179
180 .B "[1997] Το πρώτο ευρείας κυκλοφορίας πρόγραμμα μετατροπής γλώσσας σε φωνή από την Dragon Systems."
181
182 .NH 2
183 Ορισμοί Τεχνητής Νοημοσύνης
184 .PP
185 Ο στόχος λοιπόν για όσες ασχολήθηκαν με την τεχνητή νοημοσύνη, από την σύλληψη της σαν έννοια, ήταν:
186 .QS
187 .B
188 .ce
189 Τεχνητή Νοημοσύνη ≥ Ανθρώπινη Νοημοσύνη
190 .QE
191
192 .LP
193 Αυτό το θεωρητικό μοντέλο τεχνητής νοημοσύνης, που απαιτεί μια μηχανή να έχει νοημοσύνη ίση ή μεγαλύτερη από τον άνθρωπο, αν υπήρχε, θα είχε συνειδητή αυτογνωσία, την ικανότητα να λύνει προβλήματα και να μαθαίνει και να σχεδιάζει το μέλλον, ονομάζεται ισχυρή ή γενική τεχνητή νοημοσύνη.
194 Παρά τις, με βεβαιότητα, δηλώσεις επιστημόνων (μόλις 50 χρόνια πριν) ότι απέχουμε από λίγα χρόνια έως λίγες δεκαετίες από αυτόν τον στόχο, τελικά ως σήμερα δεν έχει επιτευχθεί\**.
195 .FS
196 https://web.archive.org/web/20240508212358/https://www.brookings.edu/articles/how-close-are-we-to-ai-that-surpasses-human-intelligence/
197 .FE
198 Ειδικές περιπτώσεις, όπως αυτές της ήττας του Κασπάροφ στο σκάκι αποδίδονται όχι στην αυξημένη νοημοσύνη των υπολογιστών, αλλά στην μεγαλύτερη επεξεργαστική τους δυνατότητα να εκτελούν πράξεις, σε σχέση με εμάς. Δεν μπορούμε να ισχυριστούμε, για παράδειγμα, ότι ένα απλό αριθμητικό κομπιουτεράκι μας ξεπερνά σε νοημοσύνη. Όταν μια μηχανή μπορεί να κάνει περιορισμένες ενέργειες που να προσμοιάζουνε τμήματα της ανθρώπινης νοημοσύνης, τότε ονομάζεται αδύναμη ή στενή τεχνητή νοημοσύνη.
199
200 Σήμερα η ορολογία έχει αλλάξει, χωρίς όμως να υπάρχει ένας αμοιβαία συμφωνημένος ορισμός. Για παράδειγμα είναι η εταιρεία OPENAI η οποία έχει μονοπωλήσει τα φώτα της δημοσιότητας με το πρόγραμμα chatGPT (στο οποίο θα αναφερθούμε σε επόμενη περάγραφο) ορίζει την γενικευμένη τεχνητή νοημοσύνη ως\**:
201 .FS
202 https://web.archive.org/web/20240508231921/https://openai.com/charter/
203 .FE
204 .QS
205 «...εξαιρετικά αυτόνομα συστήματα που ξεπερνούν τους ανθρώπους στην πιο οικονομικά επικερδής εργασία»
206 .QE
207 .LP
208 Πρόκειται για μια εξαιρετικά αφηρημένη και βολική ερμηνεία. Είναι όμως ταυτόχρονα ξεκάθαρη για τον βασικό στόχο της εταιρείας σε σχέση με την τεχνητή νοημοσύνη. Η ανάπτυξή της σε δραστηριότητες που αποσκοπούν σε κερδοφορία.
209
210 Σε τελείως διαφορετική κατεύθυνση σε μία μελέτη του ο Yoshihiro Maruyama, από το Εθνικό Πανεπιστήμιο της Αυστραλίας, ορίζει τα παρακάτω 8 χαρακτηριστικά ενός συστήματος ως απαραίτητα για να θεωρηθεί γενικευμένη τεχνητή νοημοσύνη:
211 .[
212 maruyama2020AI_conditions
213 .]
214 .IP
215 \[bu]
216 Λογική
217
218 \[bu]
219 Αυτονομία
220
221 \[bu]
222 Ανθεκτικότητα
223
224 \[bu]
225 Ακεραιότητα
226
227 \[bu]
228 Ηθική
229
230 \[bu]
231 Συναίσθημα
232
233 \[bu]
234 Ενσάρκωση
235
236 \[bu]
237 Ενσωμάτωση
238
239 Παρατηρούμε ότι η παραπάνω κατηγοριοποίηση, προσεγγίζει σημαντικά τον χαρακτηρισμό της ανάλυσης για την ανθρώπινη ευφυΐα του Gardner.
240
241 .NH 2
242 Βασικές έννοιες
243 .NH 3
244 Τεχνικές τεχνητής νοημοσύνης
245 .PP
246 Οι έννοιες τεχνητή νοημοσύνη, μηχανική μάθηση (machine learning), βαθιά μάθηση (deep learning) και νευρωνικά δίκτυα (neural networks) ακούγονται και συγχέονται συχνά. Παρακάτω γίνεται προσπάθεια να ξεδιαλύνουμε αυτές τις ορολογίες.
247 .SH 4
248 Μηχανική μάθηση
249 .PP
250 Η βαθιά μάθηση είναι υποσύνολο της μηχανικής μάθησης η οποία με τη σειρά της είναι και αυτή υποσύνολο της τεχνητής νοημοσύνης (εικόνα 2).
251
252 .PSPIC "media/AI_hierarchy.eps" 3
253 .QP
254 .ce
255 Εικόνα 2: Ιεραρχία τεχνητής νοημοσύνης\**.
256 .FS
257 Παράγωγο από Lollixzc, https://wikiless.org/wiki/File:Multiple-intelligence.jpg, διατίθεται με όμοια άδεια: CC BY-SA 4.0
258 .FE
259
260 .LP
261 Η μηχανική μάθηση, είναι μία μέθοδος εκπαίδευσης των μηχανών από τα δεδομένα ή την εμπειρία η οποία αυτοματοποιεί τη δημιουργία αναλυτικών μοντέλων.Ενώ η μηχανική μάθηση έχει μερικά εξελιγμένα μαθηματικά «κόλπα στο μανίκι της», είναι σημαντικό να κατανοήσουμε ότι είναι μια μαθηματική διαδικασία ωμής βίας. Όταν παρέχονται αρκετά δεδομένα εκπαίδευσης και όταν εκτελούνται σε αρκετά ισχυρούς υπολογιστές, μπορεί να αξιοποιήσει τις αριθμητικές λειτουργίες σε μια ασυνήθιστη εξομοίωση διαφόρων ανθρώπινων ικανοτήτων, όπως η ικανότητα αναγνώρισης προσώπων ή η αναπαραγωγή επιτραπέζιων παιχνιδιών στρατηγικής όπως το Go\**.
262 .FS
263 Στρατηγικό επιτραπέζιο παιχνίδι που ξεκίνησε από την Κίνα. Οι δυο παίχτριες, άσπρη και μαύρη, προσθέτουν εναλλάξ πέτρες στο ταμπλό, περικυκλώνοντας περιοχή, φυλακίζοντας πέτρες της αντιπάλου και προστατεύοντας τις δικές τους πέτρες.
264 .FE
265 .SH 4
266 Βαθειά μάθηση
267 .PP
268 Η «βαθειά μάθηση» αναφέρεται σε προσεγγίσεις μάθησης που βασίζονται σε δεδομένα που χρησιμοποιούν πολυεπίπεδα νευρωνικά δίκτυα και επεξεργασία για υπολογισμό. Στην προσέγγιση βαθιάς μάθησης, ο όρος «Βαθειά» αναφέρεται στην έννοια πολλών επιπέδων ή σταδίων μέσω των οποίων τα δεδομένα υποβάλλονται σε επεξεργασία για την ανάπτυξη ενός μοντέλου που βασίζεται σε δεδομένα.
269 .[
270 sarker2022AI_types
271 .]
272 .SH 4
273 Βελτιστοποίηση
274 .PP
275 Η μηχανική μάθηση ενσωματώνει την ιδέα ότι ο τρόπος επίλυσης ενός προβλήματος είναι να βρεθεί ένας στόχος για βελτιστοποίηση. Η βελτιστοποίηση είναι ένα συγκεκριμένο είδος ορθολογισμού, που υποστηρίζει ότι η συμπύκνωση της πολυπλοκότητάς (του στόχου) του σε έναν υπολογισμό παρέχει ένα ανώτερο είδος λύσης. Ο ρόλος του βελτιστοποιητή είναι να επαναλαμβάνει επανειλημμένα τα δεδομένα εκπαίδευσης μέχρι να ελαχιστοποιήσει τη συνάρτηση απώλειας, δηλαδή την απόκλιση ανάμεσα στα δεδομένα που εισήχθησαν και την πρόγνωση που πρέπει να κάνει η μηχανή για να προσφέρει λύση ή, πιο απλά, το ενδεχόμενο η μηχανή να κάνει λάθος. Όταν η απόκλιση αποφασιστεί (από άτομο ή μηχανή) ότι είναι αποδεκτή, το σύστημα μηχανικής μάθησης θεωρείται ότι έχει εκπαιδευτεί.
276 .[
277 sarker2022AI_types
278 .]
279 .FE
280 .SH 4
281 Δεδομένα
282 .PP
283 Για να υπάρξει όμως βελτιστοποίηση πρέπει να υπάρχουν δεδομένα. Όσα περισσότερα μάλιστα, τόσο μικρότερη η συνάρτηση απώλειας. Για αυτό υπάρχει αυτή η μανία για τα πολλά μαζικά δεδομένα (big data) από τις εταιρείες. Είναι μάλιστα τόσο πολύτιμα τα δεδομένα, που οι εταιρείες-γίγαντες της τεχνολογίας (big-tech) πλέον στοχεύουν στην αχόρταγη απόκτηση των δεδομένων που προκύπτουν από τις χρήστριες των «υπηρεσιών τους».
284 .SH 4
285 Νευρωνικά δίκτυα
286 .PP
287 Τα νευρωνικά δίκτυα από την άλλη, αποτελούν τη ραχοκοκαλιά των αλγορίθμων βαθιάς μάθησης. Είναι ο αριθμός των επιπέδων κόμβου ή το βάθος (τα επίπεδα) των νευρωνικών δικτύων που διακρίνει ένα μεμονωμένο νευρωνικό δίκτυο από έναν αλγόριθμο βαθιάς μάθησης. Με την σημερινή τεχνολογία, η μηχανική μάθηση είναι ουσιαστικά ισοδύναμη έννοια με τα συστήματα νευρωνικών δικτύων\**
288 .FS
289 https://www.gnu.org/philosophy/words-to-avoid.html#ArtificialIntelligence
290 .FE
291 .NH 3
292 To chatGPT
293 .PP
294 Το πιο διαδεδομένο πρόγραμμα σήμερα, όπως προωθείται κάθε φορά που ΜΜΕ, στελέχη επιχειρήσεων αλλά και ακόα ακαδημαϊκών που που θέλουν να αναφερθούν στην τεχνητή νοημοσύνη είναι το chatGPT. Το ενδιαφέρον της κοινής γνώμης είναι υψηλό ενώ ταυτόχρονα είναι το πιο γρήγορα διαδεδομένο πρόγραμμα έως σήμερα, φθάνοντας τα 100 εκατομμύρια χρήστριες, μόλις σε 2 μήνες μετά την διάθεσή του\**.
295 .LP
296 Το υψηλό ενδιαφέρον όμως δεν σημαίνει πάντα πραγματική καινοτομία. Υπάρχουν πολλοί ερευνητές οι οποίοι δε συμφωνούν με την άποψη ότι το chatGPT είναι πραγματικά καινοτόμο. Σε μια συνέντευξή του στην Deutsche Welle, ο Dr Michael Cook, λέκτορας στο King's College του Λονδίνου, σημείωσε ότι προγράμματα σαν και αυτό δημιουργούν μια ψευδαίσθηση για το πόσο προηγμένα είναι. Ταυτόχρονα πρόσθεσε:
297 .QP
298 Το ότι ένας σκύλος μπορεί να κάνει χειραψία, όπως και ο Αϊνστάιν, δεν μπορεί να σημαίνει ότι το σκυλί είναι το ίδιο έξυπνο με τον Αϊνστάιν.
299 .FS
300 https://neuters.de/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/
301 .FE
302 .LP
303 Ακόμα πιο αποφασιστικά, ο Νόαμ Τσόμσκι αναφέρει\**:
304 .FS
305 https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html
306 .FE
307 .QP
308 Εν ολίγοις, το ChatGPT και τα αδέρφια του δεν είναι σε θέση να εξισορροπήσουν τη δημιουργικότητα με τους περιορισμούς. Είτε υπεργεννούν (παράγοντας και αλήθειες και ψεύδη, υποστηρίζοντας ηθικές και ανήθικες αποφάσεις εξίσου) είτε υπογεννούν (δείχνοντας μη δέσμευση σε οποιεσδήποτε αποφάσεις και αδιαφορία για τις συνέπειες). Δεδομένης της ηθικής, της ψεύτικης επιστήμης και της γλωσσικής ανικανότητας αυτών των συστημάτων, δεν μπορούμε παρά να γελάσουμε ή να κλάψουμε με τη δημοτικότητά τους.
309 .QE
310 .LP
311 Ενώ άλλοι, όπως ο Dr Dan McQuillan και ο πατέρας του ελεύθερου λογισμικoύ Dr Ritchard Stallman, χαρακτηρίζουν το chatGPT ως «μηχανή παραγωγής σαχλαμάρων»\**\**.
312 .FS
313 https://www.vice.com/en/article/akex34/chatgpt-is-a-bullshit-generator-waging-class-war
314 .FE
315 .FS
316 https://www.gnu.org/philosophy/words-to-avoid.html#ArtificialIntelligence
317 .FE
318
319 Προγράμματα επομένως σαν το chatGPT, έχουν αμφίβολα αποτελέσματα και, όπως θα δούμε παρακάτω, είναι αδύνατο να ελεγχθούν. Συνεπώς είναι απαραίτητο να εξετάζονται κριτικά από κράτη/επιχειρήσεις/επιστήμονες και να μην παρασύρονται από την «ευκολία» και τις πομπώδεις επικεφαλίδες. Όπως θα δούμε παρακάτω, υπάρχουν σημαντικά ηθικά ζητήματα που προκύπτουν τα οποία δεν πρέπει να παραβλέπονται.
320
321 .FE
322 .NH 1
323 Ηθικά ζητήματα γύρω από την τεχνητή νοημοσύνη
324 .NH 2
325 Ποιος ελέγχει τις μηχανές
326 .PP
327 .PP
328 Θα αποφασίζουν για εμάς οι μηχανές; Μήπως θα χάσουμε την θέση μας σαν το πιο εξελιγμένο είδος; Είναι τελικά η τεχνητή νοημοσύνη το κουτί της Πανδώρας;
329 .LP
330 Τα παραπάνω ερωτήματα είναι συνηθισμένα και συχνά προκαλούν πανικό. Αρχικά, όπως έχει αναφερθεί, είμαστε τεχνολογικά πολύ μακρυά από το να κατασκευάσουμε μηχανές με αυτογνωσία που να έχουν την ικανότητα να αποφασίζουν για το πως θα δράσουν ανεξάρτητα από ανθρώπινη παρέμβαση.
331 Είναι ακόμα οι άνθρωποι αυτοί που αποφασίζουν το πως θα δράσει ο αλγόριθμος των μηχανών, τόσο σε επίπεδο μηχανικής μάθησης όσο και παραγωγής αποτελέσματος. Μάλιστα στις περισσότερες περιπτώσεις απαιτούνται εργάτριες, για να «τακτοποιήσουν» τα απέραντα δεδομένα τα οποία συλλέγονται και τροφοδοτηθούν τον αλγόριθμο (ώστε να εκπαιδευτεί), βάζοντας ετικέτες\**. Παράδειγμα είναι η υπερεργολαβική συνεργασία του chatGPT με εταιρεία ενοικίασης 50.000 εργαζομένων στην Κένυα για επισήμανση, με μισθό λιγότερο από 2$/ώρα\**.
332 .FS
333 Η επισήμανση δεδομένων συμβάλει στον προσδιορισμό ακατέργαστων δεδομένων (δηλαδή εικόνων, αρχείων κειμένου, βίντεο) και, στη συνέχεια, την προσθήκη μιας ή περισσότερων ετικετών σε αυτά ώστε ένα μοντέλο μηχανικής εκμάθησης να πραγματοποιήσει πιο ακριβείς προβλέψεις.
334 .FE
335 .FS
336 https://time.com/6247678/openai-chatgpt-kenya-workers/
337 .FE
338
339 .NH 2
340 Τεχνολογία «μαύρο κουτί»
341 .PP
342 Οι εταιρείες που παράγουν λογισμικό σχετικό με την τεχνητή νοημοσύνη αλλά και αυτές που παρέχουν σχετικές υπηρεσίες\** βολεύονται μέσω της αποποίησης ευθυνών που προσφέρει η διατήρηση του μύθου για ανεξάρτητα «σκεπτόμενα μηχανήματα». Είδαμε όμως ότι στην πραγματικότητα είναι ανθρώπινη επιλογή το τι δεδομένα εισάγονται, πως αξιοποιούνται από τα συστήματα και τελικά πως εξάγονται και παρουσιάζονται στους χρήστες. Η εικόνα 3 σχηματοποιεί τα τρία στάδια που αναφέρθηκαν.
343 .FS
344 Υπηρεσίες παρέχουν πλέον όχι μόνο μικρές και μεγάλες ιδιωτικές εταιρείες αλλά και κρατικές υπηρεσίες.
345 .FE
346 .PSPIC "media/blackbox.eps" 3
347 .QP
348 .ce
349 Εικόνα 3: Λειτουργία "ΑΙ" \**.
350 .FS
351 Από Παραφέστα Νίκο, διατίθεται με άδεια: CC BY-SA 4.0
352 .FE
353
354 .SH 3
355 Δεδομένα
356 .PP
357 Ο τρόπος συλλογής των δεδομένων, απαραίτητα όπως έχει αναλυθεί για την εκπαίδευση των μηχανών, αποτελεί μια από τις ποιο προβληματικές παραμέτρους της τεχνητής νοημοσύνης. Εταιρείες σαν την openAI, βρίσκονται συχνά στο επίκεντρο με κατηγορία σότι χρησιμοποιούν online περιεχόμενο χωρίς άδεια.
358 .LP
359 Η εφημερίδα New York times, για παράδειγμα, έκανε αγωγή σε Microsoft και OpenAI, ζητώντας αποζημίωση δισεκατομμυρίων δολλαρίων για τη χρήση περιεχομένου της εφημερίδας χωρίς να έχουν εξουσιοδότηση\**.
360 .FS
361 https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html
362 .FE
363 Φυσικά και δεν είναι η μόνη περίπτωση. Παρακάτω περιγράφονται μερικές μόνο από τις περιπτώσεις που οι "big tech" συλλέγουν αχόρταγα δεδομένα των χρηστριών τους\**:
364 .FS
365 https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html
366 .FE
367 .IP
368 \[bu]
369 Η Google χρησιμοποιεί τα δεδομένα που προκύπτουν κατά τη χρήση των υπηρεσιών Youtube, gmail, google drive κ.α.
370
371 \[bu]
372 H Microsoft πέρα από την εμπλοκή της στο chatGPT, χρησιμοποιεί ακόμα και δεδομένα χρήσης των windows για να συγκεντρώσει υλικό για μηχανική μάθηση. Το ίδιο ισχύει και για πλατφόρμες όπως το Outlook mail.
373
374 \[bu]
375 To X(itter) απέκλεισε την πρόσβαση προγραμμάτων στην πλατφόρμα για να συλλέγει έχει αποκλειστικότητα στο περιεχόμενο
376 \[bu]
377 Η Meta μέσω έχει όρο στη χρήση των πλατφορμών της, facebook, instagram κτλ, ότι τα δεδομένα που διακινούνται περνάνε αυτόματα στην ιδιοκτησία της εταιρείας.
378
379 .LP
380 Με τον τρόπο όμως που πραγματοποιείται αυτή η συλλογή δεδομένων, προκύπτουν και ζητήματα υποεκπροσώπησης διαφόρων ομάδων. Για παράδειγμα έλεγχος ενός προγράμματος αναγνώρισης χαρακτηριστικών προσώπων είχε αρκετά καλά αποτελέσματα για λευκά άτομα, αλλά όχι για πιο σκουρόχρωμους\**. Αυτό γιατί η «εκπαίδευση» του συστήματος, πραγματοποιήθηκε με βάση τα στάνταρ της «Silicon Valley», περιοχής που με συντριπτική πλειοψηφία λευκού πληθυσμού.
381
382 Για να υπάρξει έλεγχος στο πως τα δεδομένα μας χρησιμοποιούνται είναι απαραίτητο να υπάρχει απόλυτη διαφάνεια στο τι είναι αυτά τα δεδομένα, πως συλλέχθηκαν αλλά και αν είναι διαθέσιμα προς χρήση σε όλα. Έτσι μόνο θα έχουμε τη δυνατότητα να αξιολογούμε, να ελέγχουμε περιπτώσεις παραβιάσεων της ιδιωτικότητάς μας αλλά ταυτόχρονα και να βελτιώνουμε την αξιοπιστία τους.
383
384 .SH 3
385 Αλγόριθμος, αυτός ο άγνωστος
386 .PP
387 Παρόλο που το όνομα της εταιρείας openAI προδιαθέτει σε ανοιχτή (open) λειτουργία, η αλήθεια είναι πολύ διαφορετική. Στην πραγματικότητα, τα περισσότερα συστήματα τεχνητής νοημοσύνης, είναι εμπορικά προγράμματα των οποίων ο κώδικας δεν είναι προσβάσιμος. Αυτό σημαίνει ότι δεν υπάρχει τρόπος να εξεταστεί από τρίτα μέρη το πως επεξεργάζονται τα εισαγόμενα δεδομένα. Καθώς το πως λειτουργεί ένας αλγόριθμος εξαρτάται καθαρά από το πως θα ρυθμιστεί από τον χειριστή του, δεν μπορούμε να έχουμε γνώση για ζητήματα όπως, τον τρόπο «εκπαίδευσης» του αλγόριθμου και το κατά πόσο επιλέγονται ορισμένες παράμετροι να έχουν μεγαλύτερη βαρύτητα από άλλες.
388
389 .LP
390 Την ίδια ώρα, τα συστήματα αυτά ήδη χρησιμοποιούνται σε πληθώρα κρίσιμων λειτουργιών, όπως στην υγεία, στην παιδεία (όλων των σχολικών βαθμίδων), στην λειτουργία των δικαστηρίων και σε άλλες κρίσιμες κρατικές υποδομές. Η χρήση του μάλιστα αναμένεται να αυξηθεί ακόμα περισσότερο το επόμενο διάστημα. Πως όμως μπορούμε να εμπιστευτούμε, σε τόσο νευραλγικούς τομείς της κοινωνίας και της δημοκρατίας, αυτά τα «μαύρα κουτιά» την αξιοπιστία των οποίων οποίων στερούμαστε να ελέγξουμε; Πως μπορούμε να ελέγξουμε, για παράδειγμα, αν μία γιατρός εμπιστεύτηκε σωστά μια εκτίμηση θνησιμότητας από ένα πρόγραμμα, με αποτέλεσμα να στερήσει πιθανό φάρμακο από έναν ασθενή;
391
392 .LP
393 Στην εκπαίδευση (δευτεροβάθμια, τριτοβάθμια και πανεπιστημιακή) η χρήση του chatGPT έχει πλέον απογειωθεί σε τρομακτικό βαθμό. Το σύστημα ελέγχου λογοκλοπής Turnitin, ανακοίνωσε ότι το 2023 περίπου 14 εκατομμύρια φοιτητικές εργασίες είναι πιθανό να χρησιμοποίησαν μορφές τεχνητής νοημοσύνης και ότι περίπου το 75% των μαθητριών στο Λύκειο χρησιμοποιεί συστήματα μηχανικής μάθησης ακόμα και αν αυτά έχουν απαγορευτεί/**.
394 .FS
395 https://www.turnitin.com/blog/one-year-of-chatgpt-where-are-we-now
396 .FE
397 Παράλληλα, σε επίπεδο έρευνας, ακόμα και μέλη της ακαδημαϊκής κοινότητας χρησιμοποιούν την τεχνητή νοημοσύνη, τόσο για τη συγγραφή ερευνών όσο και για την ομότιμη αξιολόγηση για την δημοσίευσή τους σε επιστημονικά περιοδικά\**. Αυτό συμβαίνει ενώ δεν υπάρχει καμία επιστημονική γνώση για την αξιοπιστία τους.
398 .FS
399 https://web.archive.org/web/20240120015516/https://onlinelibrary.wiley.com/doi/full/10.1002/leap.1570
400 .FE
401
402 Μαθησιακά, καθώς η χρήση προγραμμάτων όπως το chatGPT στην εκπαίδευση είναι χρονικά μικρή, δεν υπάρχουν ακόμα ασφαλείς μελέτες για τα ζητήματα που ενδέχεται να προκύψουν. Μπορούμε όμως να κάνουμε μια εκτίμηση παρατηρώντας τα αποτελέσματα της μακροχρόνιας χρήσης, μια σαφώς πιο ήπιας τεχνολογίας, στην εκπαίδευση, της χρήσης ορθογράφου. Συγκεκριμένα Μια μελέτη του Χάρβαρντ του 2005
403 .[
404 spell_check2005
405 .]
406 διαπίστωσε ότι 37 άτομα που παρήγαγαν μια μελέτη κάνοντας χρήση ορθογραφικού ελέγχου - έναντι 28 ατόμων χωρίς - βασίζονταν ουσιαστικά στην τεχνολογία για να κάνουν την ορθογραφία για αυτούς. Αυτό δεν είχε να κάνει με τις ικανότητές στους στην ορθογραφία, αλλά αντίθετα στην τεμπελιά και την αυτοπεποίθηση ότι δεν την χρειαζόταν. Αναρωτιόμαστε λοιπόν ότι, αν η οι ορθογράφοι μας έκαναν ανορθόγραφους\**, τότε τι θα συμβεί αν μια, μη αξιολογημένη μηχανή, εκπονεί και διορθώνει τις εργασίες μαθητριών, φοιτητών και μελών της ακαδημαϊκής κοινότητας;
407 .FS
408 https://www.bbc.co.uk/news/education-18158665
409 .FE
410
411 Τα ζητήματα όμως δεν σταματούν στην παιδεία. Ήδη υπάρχουν σκέψεις για χρήση της τεχνητής νοημοσύνης ακόμα και στις δικαστικές αίθουσες στην Ελλάδα. Συγκεκριμένα στο τμήμα «Τεχνητή Νοημοσύνη στον τομέα της Δικαιοσύνης» στην παράγραφο 9.4.2 της «βίβλου ψηφιακού μηχανισμού 2020-2025»\** (ΦΕΚ 2894/Β/5-7-2021)
412 .FS
413 https://digitalstrategy.gov.gr/website/static/website/assets/uploads/digital_strategy.pdf
414 .FE
415 υπάρχει αναφορά για υποβοήθηση στην λήψη αποφάσεων των δικαστικών οργάνων από προγράμματα τεχνητής νοημοσύνης, ακόμα και για αυτόματη λήψη αποφάσεων για συγκεκριμένες υποθέσεις. Η εξοικονόμηση χρόνου και χρήματος που αναφέρεται ως αιτία, δεν δικαιολογεί την χρήση ενός μη διαπιστευμένου λογισμικού. Οι συνέπειες από την λανθασμένη καταδίκη ανθρώπων, από λανθασμένη εκτίμηση μπορεί να είναι ολέθριες για το δικαστικό σύστημα. Η περίπτωση του Compass, ενός προγράμματος εκτίμησης της πιθανότητας ένας ένοχος να τελέσει εκ νέου παραβάσεις, είναι χαρακτηριστική. Το συγκεκριμένο λογισμικό, χρησιμοποιούταν από τις δικαστίνες των ΗΠΑ, ώστε να αποφασίσουν για το ύψος της κάθειρξης. Μια έρευνα ανέδειξε όμως, ότι το συγκεκριμένο πρόγραμμα χρησιμοποιούσε αλγόριθμο ο οποίος ήταν εξαιρετικά μεροληπτικός ενάντια σε σκουρόδερμες σε σχέση με λευκές\**.
416 .FS
417 https://web.archive.org/web/20240612092819if_/https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
418 .FE
419 Αποτέλεσμα ήταν να υπάρξει παρέμβαση μεγάλης μερίδας δικαστικών και νομικών, ζητώντας να ανοιχτεί ο κώδικας τόσο του συγκεκριμένου προγράμματος όσο και των υπολοίπων που χρησιμοποιούν τη μέθοδο της πρόβλεψης με τεχνολογίες μηχανικής μάθησης, ώστε να ελεγχθούν\**.
420 .FS
421 https://web.archive.org/web/20240329055803if_/https://www.theregister.com/2024/02/16/black_box_government/
422 .FE
423
424 .NH 2
425 AI Act
426 .PP
427 Στις 13 Μαρτίου 2024, η ευρωβουλή ενέκρινε το AI Act. Πρόκειται για έναν νόμο ο οποίος, μετά από 3 χρόνια διαβουλεύσεων, θα οριοθετούσε την τεχνητή νοημοσύνη. Παρόλο που όντως αποτελεί, παγκόσμια το πρώτο μεγάλης κλίμακας νομοθέτημα, άφησε μια γλυκόπικρη γεύση]\**.
428 .FS
429 https://www.euronews.com/next/2024/03/16/eu-ai-act-reaction-tech-experts-say-the-worlds-first-ai-law-is-historic-but-bittersweet
430 .FE
431
432 Αρχικά γιατί τόσο η δομή του, όσο και οι ασάφειες, ανοίγουν τον δρόμο στις γιγάντιες εταιρείες πληροφορικής, να ενισχύσουν το μονοπώλιό τους\**.
433 .FS
434 https://www.aljazeera.com/news/2024/3/13/eu-parliament-greenlights-landmark-artificial-intelligence-regulations
435 .FE
436 Αρχικά γιατί υπάρχουν «θολές» διατάξεις τις οποίες μπορούν να εκμεταλλευτούν τα μεγάλα νομικά τους τμήματά. Επιπλέον, με δεδομένο ότι εταιρείες όπως Meta, Apple, Google, Microsoft ξοδεύουν πάνω από 100 εκατομμύρια ευρώ για να ασκήσουν πολιτική πίεση στην Ε.Ε./**
437 .FS
438 https://www.euronews.com/my-europe/2023/09/11/tech-companies-spend-more-than-100-million-a-year-on-eu-digital-lobbying
439 .FE
440 και, συχνά όχι με διαφανείς μεθόδους\**,
441 .FS
442 https://www.euronews.com/my-europe/2023/09/11/tech-companies-spend-more-than-100-million-a-year-on-eu-digital-lobbying
443 .FE
444 οι ασάφειες στο AI Act ευνοούν την δυνατότητα να ασκηθεί επιπλέον πίεση και να υπάρχει ακόμα μεγαλύτερη ευνοϊκή μεταχείρισή των εν λόγω εταιρειών.
445
446 Πέρα όμως από τον αθέμιτο ανταγωνισμό, ανακύπτουν και ζητήματα δημοκρατίας. Συγκεκριμένα, στους κανόνες γύρω από τη χρήση της τεχνητής νοημοσύνης, υπάρχουν σημαντικές εξαιρέσεις:
447 .IP
448 \[bu]
449 Στα άρθρα 2.3 και 2.6, εξαιρούνται τα συστήματα τεχνητής νοημοσύνης για λόγους εθνικής ασφαλείας, και
450
451 \[bu]
452 στο άρθρο 5.2, η απαγόρευση της χρήσης συστημάτων τεχνητής νοημοσύνης σε πραγματικό χρόνο, αίρεται για λόγους αστυνόμευσης.
453
454 .LP
455 Οι παραπάνω εξαιρέσεις, ειδικά μετά το σκάνδαλο παρακολουθήσεων με το Predator στην Ελλάδα\**
456 .FS
457 http://web.archive.org/web/20231101155720if_/https://www.efsyn.gr/ellada/koinonia/207015_polites-parakoloythoyntai-i-dimokratia-apeileitai
458 .FE
459 και, το «ξεχείλωμα» των ζητημάτων εθνικής ασφάλειας, δημιουργούν τεράστιες δημοκρατικές οπισθοχωρήσει και, μπρούμε να ισχυριστούμε ότι, έρχονται ενάντια στο πνεύμα του άρθρου 19 του συντάγματος.
460
461 .NH 1
462 Συμπεράσματα και προτάσεις
463 .PP
464 Η κριτική προσέγγιση του συγγραφέα της παρούσας εργασίας στα συστήματα της τεχνητής νοημοσύνης, δεν έχει να κάνει με την ίδια την τεχνολογία αλλά με τις υπερβολές και την παραπληροφόρηση. Άλλωστε, καμία τεχνολογία δεν είναι από μόνη της ικανή για καλό ή για κακό. Η πυρηνική ενέργεια για παράδειγμα μπορεί να εξαϋλώσει τον πλανήτη, μπορεί όμως και υπό προϋποθέσεις να προσφέρει απεριόριστη καθαρή ενέργεια. Έτσι και η τεχνητή νοημοσύνη, παρόλο τους κινδύνους που παρουσιάστηκαν, μπορεί να αποτελέσει σημαντικό εργαλείο έρευνας και επιστήμης.
465 Απαραίτητο είναι όμως να υπάρχει διαφάνεια ώστε να μπορούμε να έχουμε όλες αυτές τις αναγκαίες διαβεβαιώσεις, ότι μπορούμε να την εμπιστευτούμε. Ήδη έχουμε την εμπειρία, ότι αξιόπιστο λογισμικό είναι το λογισμικό στο οποίο μπορούμε να έχουμε πρόσβαση - το ελεύθερο λογισμικό.
466
467 Το Ελεύθερο λογισμικό παρέχει στους χρήστες την ελευθερία να εκτελούν, αντιγράφουν, διανέμουν, μελετούν, τροποποιούν και βελτιώνουν το Ελεύθερο λογισμικό. Για την ακρίβεια, αναφέρεται σε τέσσερις βασικές ελευθερίες\**:
468
469 .IP
470 \[bu]
471 Την ελευθερία να εκτελείτε το πρόγραμμα, για οποιονδήποτε σκοπό (ελευθερία 0).
472
473 \[bu]
474 Την ελευθερία να μελετάτε τον τρόπο λειτουργίας του προγράμματος και να το προσαρμόζετε στις ανάγκες σας (ελευθερία 1). Η πρόσβαση στον πηγαίο κώδικα είναι προϋπόθεση για να ισχύει κάτι τέτοιο.
475
476 \[bu]
477 Την ελευθερία να αναδιανέμετε αντίγραφα του προγράμματος ώστε να βοηθάτε το συνάνθρωπο σας (ελευθερία 2).
478
479 \[bu]
480 Την ελευθερία να βελτιώνετε το πρόγραμμα και να δημοσιεύετε τις βελτιώσεις που έχετε κάνει στο ευρύ κοινό, ώστε να επωφεληθεί ολόκληρη η κοινότητα (ελευθερία 3). Η πρόσβαση στον πηγαίο κώδικα είναι προϋπόθεση για να ισχύει κάτι τέτοιο.
481
482 .LP
483 Αντί σαν είδος να ξοδεύουμε απεριόριστους πόρους, ανθρώπινους και χρηματικούς, σε εμπορικά κλειστά συστήματα με αμφίβολο αποτέλεσμα, ας επενδύσουμε σε ελεύθερα με ανοιχτά πρότυπα και δεδομένα, που θα ωφελήσουν την κοινωνική μας πρόοδο.
484
485
486