Melden Sie sich hier an, um auf Kommentare und die Whitepaper-Datenbank zugreifen zu können.

Kein Log-In? Dann jetzt kostenlos registrieren.

Falls Sie Ihr Passwort vergessen haben, können Sie es hier per E-Mail anfordern.

Der Zugang zur Reseller Only!-Community ist registrierten Fachhändlern, Systemhäusern und Dienstleistern vorbehalten.

Registrieren Sie sich hier, um Zugang zu diesem Bereich zu beantragen. Die Freigabe Ihres Zugangs erfolgt nach Prüfung Ihrer Anmeldung durch die Redaktion.

23.11.1990 - 

Die Geschichte der Künstlichen Intelligenz, Teil 2

Generationen von Forschern scheiterten mit KI-TheorienDas Gerangel um Forschungsgelder

Bei der Suche nach Künstlicher Intelligenz spaltete sich die Wissenschaftlergemeinde in zwei einander feindlich gegenüberstehende Lager. Während die eine Gruppe im Computer ein System sah, mit dem man geistige Symbole manipuliert, betrachtete ihn die andere als ein Medium für die Modellierung des menschlichen Gehirns.

Die erste Gruppe ging davon aus, daß KI-Systeme nur aufgrund einer umfassenden Kognitions-Theorie erstellt werden könnte und in den sechziger Jahren sah es so aus, als ob dieser formale Ansatz gesiegt hätte. Inzwischen hat sich das Blatt allerdings gewendet und die sogenannten Konnektionisten liegen mit ihren neuronalen Netzen wieder vorne.

In den frühen sechziger Jahren konnten beide Ansätze auf überraschend große Anfangserfolge verweisen. Um ihre Forschungen fortsetzen zu können, versuchte nun jedes Lager den eigenen Ansatz als den Erfolgversprechenderen darzustellen. Dadurch entartete der Wissenschaftsstreit von der sachlichen Diskussion zu einem Gerangel um Prestige und um Forschungsgelder. Beide Seiten übertrieben sowohl die eigenen Möglichkeiten als auch die Schwächen der jeweils anderen Theorie. Dabei übersahen sie die eigenen prinzipiellen Probleme und diskreditierten im Endeffekt den Begriff "Künstliche Intelligenz".

*Herbert Dreyfuss ist Philosophierprofesor an der University of California in Berkeley. Der Artikel basiert auf einem Referat. das Dreyfuss am Gottlieb Duttweiler Institut gehalten hat. Die Übersetzung und Bearbeitung des Textes, der zuerst in der Zeitschrift "Technische Rundschau" erschieden, besorgte Felix Weber.

Kann es Künstliche Intelligenz überhaupt geben - eine Frage, die die Euphorie der fünfziger Jahre kaum zuließ. Statt dessen stritten sich die Forscher um den richtigen Weg zu ihrer Realisierung. Im ersten Teil dieses Artikels beschrieb Hubert Dreyfuss die Entstehung von zwei konkurrierenden Wissenschaftslagern. Im folgenden zeigt er die grundsätzliche Schwierigkeiten auf, mit denen beide Gruppen zu kämpfen haben.

Im Prinzip wußten die Forscher, daß der Aufwand bei komplexeren Aufgaben exponentiell ansteigt und die Probleme rasch so unübersichtlich werden können, daß sie auch mit den Mitteln unlösbar sind, die in ferner Zukunft zur Verfügung stehen werden. Dies hielt sie aber nicht davon ab, nur auf die Mängel des "gegnerischen" Konzepts hinzuweisen und jene des eigenen Ansatzes großzügig zu übersehen.

So kritisierten denn die beiden zur "klassischen" Schule gehörenden KI-Forscher Marvin Minsky und Seymour Papert 1969 Rosenblatts Perceptron: "Solche Maschinen mögen kleine und übersichtliche Aufgaben ganz passabel lösen. Sobald die Probleme schwieriger werden, geraten sie aber hoffnungslos ins Schleudern". (vergleiche Literaturhinweis 5)

Die Grenze des Machbaren

Drei Jahre später reihte sich der englische Forscher Sir James Lighthill in die Reihe der Kritiker ein. Seine Beurteilung heuristischer Programme nach dem Rezept von Simon und Minsky klang vernichtend: "Die meisten KI-Forscher geben zu, daß sie enttäuscht sind über die geringen Fortschritte, die in den letzten 25 Jahren auf diesem Gebiet erzielt wurden: Die anfänglichen Hoffnungen haben sich in keiner Art und Weise erfüllt. Ein Grund für die ernüchternde Bilanz ist, daß man das Phänomen der kombinatorischen Explosion völlig unterschätzt hat. Je komplexer ein System wird, desto schneller wächst die Menge der Verarbeitungsschritte, die für seine Beschreibung notwendig sind. Die technischen Fortschritte mögen noch so groß sein - früher oder später stößt man zur die Grenzen des Machbaren." (vergleiche Literaturhinweis 6)

Im Grunde genommen hatten alle Kritiker recht, denn beide Theorien standen auf schwachen Füßen. Um so aggressiver wurde der Kampf um die Forschungsgelder geführt. 1965 lancierten die beiden Hauptbefürworter des symbolischen Ansatzes, Minsky und Papert, eine ziemlich schmutzige Kampagne gegen die Konkurrenz. Ihre Strategie bestand darin, den Angriff auf die Konnektionisten mit philosophischen Argumenten zu untermauern. Minsky und Papert hatten nämlich erkannt, daß beim Streit zwischen den Theorien der traditionelle Weg der Reduktion auf logische Grundprinzipien in Konkurrenz stand zu einer neuen ganzheitlichen Sichtweise.

Minsky und Papert müssen gespürt haben, daß sie damit die Diskussion auf eine neue, quasi religiöse Ebene hieven konnten - eine Ebene, auf der sie mit ihrem klaren, rationalen Ansatz in der Wissenschaftsgemeinde vermutlich auf mehr Sympathie stoßen würden als die Gegner mit ihrem schwammigen Weltbild. Ein Forscher von altern Schrot und Korn durfte doch niemals zulassen, daß sich in der Künstlichen Intelligenz Holismus breitmachte, der zum Leidwesen vieler Rationalisten schon Gebiete wie die Biologie und Psychologie infiltriert hatte!

Wenn Newell und Simon schrieben: "Das Studium von Logik und Computern hat ergeben, daß Intelligenz in physischen Symbolsystemen residiert" (vergleiche Litetraturhinweis 7), so war das eine klare, für die meisten nachvollziehbare Aussage. Der Holismus konnte dem nichts Gleichwertiges entgegenstellen.

Es kam, wie es wohl kommen mußte. Mit ihrer sorgfältig orchestrierten Attacke landeten Minsky und Papert einen Volltreffer: In kürzester Zeit waren die neuronalen Netze "out", und zwar für immer, wie praktisch jeder, der damals auf dem Gebiet der künstlichen Intelligenz arbeitete, dachte. Die Macht der Tradition, gepaart mit philosophischen Überzeugungen, hatte also gesiegt.

Es wäre allerdings unfair, allein anti-holistische Vorurteile für den fatalen Ausgang des Kampfes verantwortlich zu machen. Es gab auch Fakten, die gegen die neuronalen Netze sprachen. Tatsächlich hatten Rosenblatt und seine Anhänger große Mühe, mit ihren Perceptrons so simple Aufgaben das Auseinanderhalten von horizontalen und vertikalen Linien zu lösen. Simbolverabeitende Computer stellte dies vor überhaupt keine Probleme; sie wurden auch mit viel schwierigeren Aufgabenstellungen fertig.

Das eigentliche Handicap der Neuro-Forscher bestand aber wohl darin, daß sie damals wegen ungenügender Computerleistung fast nur spekulative Wissenschaft oder Psychologie betreiben konnten, während sich die einfachen Programme ihrer Kontrahenten teilweise sogar in der Praxis bewährten.

Für den einseitigen Ausgang des Kampfes mag auch die weitverbreitete Ansicht eine, Rolle gespielt haben, daß formale Schlußverfahren (das war die Stärke der symbolverarbeitenden Computer) und Mustererkennung (da waren die neuronalen Netze besser) zwei unterschiedliche Zugänge zu künstlicher Intelligenz darstellten, wobei der erste für wichtiger gehalten wurde, weil er mehr mit dem Denken zu tun hat als der zweite. Damit wären wir wieder bei der philosophischen Tradition: Die Verfechter der symbolischen Informationsverarbeitung konntet sich nicht nur auf Descartes und seine Schüler berufen, sondern auf die ganze westliche Philosophiegeschichte.

Martin Heidegger (1889-1976) zufolge konzentriert sich die traditionelle Philosophie von Anfang an auf Fakten in der Welt, während sie die Welt als Ganzes hintanstellt. Sie hat also die Alltagsaspekte des Menschen immer schon systematisch ignoriert oder verzerrt und nimmt ganz selbstverständlich an, daß man ein Gebiet nur verstehen kann, wenn man darüber eine Theorie hat, und zwar eine Theorie, welche die Beziehungen zwischen unabhängigen Elementen mit abstrakten Prinzipien beschreibt.

Seit Platos Zeiten wenden die Philosophen auf theoretischen Gebieten wie der Mathematik und manchmal auch in der Ethik eindeutige, unabhängige Regeln an, die sie nicht aus unserer Alltagswelt beziehen. Weil diese Theorien die Gedankengänge der Philosophen mitbestimmen - egal, ob diese sich dessen bewußt sind oder nicht funktionieren sie problemlos, zumindest solange man die künstlich geschaffenen Welten nicht verläßt.

Nicht nur in der Mathematik, sondern auch auf praktischen Gebieten wie den Naturwissenschaften haben die Forscher mit Theorien große Erfolge erzielt. Das trat dazu geführt, daß viele Wissenschaftler und Philosophen Platos Aussage verallgemeinerten. Sie behaupteten, in, jedem einigermaßen geordneten Gebiet gäbe es einen Satz unabhängiger Elemente und abstrakte Beziehungen zwischen diesen Elementen, welche die Ordnung des Gebiets erklärten und dafür sorgten, daß sich der Mensch darin intelligent verhalten könne. Am weitesten ging dabei Leibniz, der diesen rationalistischen Ansatz kühn auf alle Arten intelligenten Verhaltens ausweitete - sogar auf das Alltagsleben.

Wenn aber alle Sachverhalte formalisierbar sind, dann ist der Weg zur Künstlichen Intelligenz klar vorgezeichnet: Die Forscher brauchen nur die unabhängigen Elemente und Prinzipien zu finden, um darauf eine formale, symbolische Repräsentation aufzubauen. Terry Winograd hat das 1968 am Massachusetts Institute of Technology (MIT) mit seinem mittlerweile berühmt gewordenen Sprachprogramm namens SHRDLU versucht. SHRDLU vermittelte dem Computer Wissen über eine Mikrowelt, in der klar definierte Regeln galten.

Der Erfolg des physischen Symbolsystems

Winograd beschrieb seine Arbeit damals mit Worten, die er den physikalischen Wissenschaften entlehnte: "Wir bemühen uns, einen Formalismus beziehungsweise eine Repräsentation zu entwickeln, mit dem wir Wissen beschreiben können. Wir suchen die Atome und Partikel, aus denen dieses Wissen besteht, und die Kräfte, die unter ihnen wirken." (vergleiche Literaturhinweis 8)

Genauso bilden die Physiker Theorien über das Universum: Sie beginnen mit relativ einfachen, isolierten Systemen, die sie schrittweise verfeinern und schließlich mit den theoretischen Modellen anderer Gebiete verweben. Das funktioniert deshalb, weil (vermutlich) alle physikalischen Phänomene im Universum auf Naturgesetzen beruhen, die für die Grundelemente gelten.

Offenbar nahmen die meisten KI-Wissenschaftler wie selbstverständlich an, diese Vorgehensweise - das Loslösen und Atomisieren des Geschehens aus dem alltäglichen Zusammenhang - funktioniere auch auf ihrem Gebiet. Nur so kann man sich erklären, weshalb das physische Symbolsystem so erfolgreich war und weshalb Minsky und Papert mit ihrer Attacke gegen die Konnektionisten so erfolgreich waren.

Wachsende Zweifel an der philosophischen Tradition

Als ich Mitte der sechziger Jahre am MIT Philosophie dozierte, wurde ich sehr rasch in die Diskussionen über die Möglichkeiten Künstlicher Intelligenz hineingezogen. Es war klar, daß Forscher wie Newell, Simon und Minsky Vertreter der philosophischen Tradition waren. Mir schien dies allerdings ein schlechtes Omen für den reduktionistischen Ansatz zu sein, denn so, wie ich den späten Wittgenstein und den frühen Heidegger verstand, hatten diese beiden Philosophen ausgerechnet jene Tradition angezweifelt, auf der die symbolische Informationsverarbeitung beruhte. Wittgenstein und Heidegger waren letztlich Holisten. Beide erkannten die Wichtigkeit alltäglicher Tätigkeiten und waren überzeugt, daß es dafür keine geschlossene Theorie gab.

Wittgenstein war ein Konvertit - er hatte einmal dem anderen Lager angehört. Nachdem er aber jahrelang vergeblich nach den atomaren Fakten und Grundobjekten aus seinem frühen "Tractatus" gesucht hatte, änderte er schließlich seine Ansicht und schrieb eine vernichtende Attacke auf seine eigene alte Theorie. Es ist ein Treppenwitz der Geschichte, daß diese Arbeit Wittgensteins 1953 publiziert wurde - also genau zu dem Zeitpunkt, als die Forscher der Künstlichen Intelligenz die abstrakte, atomistische Tradition übernahmen, die Wittgenstein nun mit seinen "Philosophical Investigations" so sehr kritisierte.

Die eigentliche Frage der künstlichen Intelligenz lautet: Gibt es eine Theorie der Alltagswelt, wie dies die rationalistischen Philosophen immer wieder behauptet haben? Oder ist der gesunde Menschenverstand eher eine Kombination von Fertigkeiten und Erfahrungen, die man nicht durch Elemente und Regeln erklären kann?

Diese Schwierigkeiten ließen sich allerdings nicht lange wegdiskutieren. Die erste Reaktion kam von praxisorientierten Leuten, welche die Nase vom hochgestochenen Geschwätz der Theoretiker voll hatten. Die Alltagswelt rächte sich an der Künstlichen Intelligenz ganz ähnlich, wie sie sich früher schon an der traditionellen Philosophie gerächt hatte. Sehr schwierig war das nicht: Die Kritiker konfrontierten die KI-Forscher ganz einfach mit der Aufgabe, dem Computer doch endlich so etwas wie gesunden Menschenverstand beizubringen. Um 1970 war eine Lösung dieses Problems nirgends in Sicht, und auch heute sind die Forscher nicht viel weiter. Prognosen wie jene von Simon, der 1965 behauptet hatte, in 20 Jahren wären Maschinen fähig, die gleiche Arbeit zu leisten wie irgendein Mensch, wurden nicht einmal ansatzweise erfüllt.

Das Problem, dem Computer "common sense" einzutrichtern, hat in den letzten Jahren den Fortschritt in der theoretischen KI blockiert. Terry Winograd, mit seinen Mikrowelten bestimmt ein Pionier der KI, war einer der ersten, der die Grenzen solcher Lösungsversuche sah. In der Folge verlor er den Glauben an die Künstliche Intelligenz. Heute doziert Winograd in seinen Computervorlesungen in Stanford die Theorien von Heidegger.

Immerhin sind sich die Kl. Forscher einig, daß sie das Common-sense-Problem lösen müssen, um den festgefahrenen Karren wieder in Schwung zu bringen. Die Notwendigkeit dazu ergibt sich aus der Tatsache, daß der Mensch, der ja Vorbild ist, dieses Problem für sich selbst gelöst hat.

Es besteht die Möglichkeit, daß der gesunde Menschenverstand gar nichts mit Wissen zu tun hat, sondern mit alltäglichen Fertigkeiten. Dazu braucht es keine Normaler Regeln, sondern vielmehr Erfahrungen, was man in diesem oder jenem speziellen Fall unternehmen sollte. Um ein Auto sicher zu lenken, braucht man bekanntlich nicht, unbedingt Vorlesungen in Physik zu besuchen - ein gewisses Maß an Fahrpraxis genügt. Wenn Kleinkinder mit Wasser und Sand spielen, setzen sie nicht theoretische Physik in die Praxis um - sie beschäftigen sich ganz einfach mit der Materie und erlangen so in kurzer Zeit erstaunliche Fertigkeiten.

Revival der Neurocomputer

Im Licht dieser Tatsachen scheint die klassische, auf Symbolverarbeitung beruhende KI, immer mehr zu einem perfekten Beispiel dafür zu werden, was Imre Lakatos ein "degeneratives Forschungsprogramm" (vergleiche Literaturhinweis 9) nannte: Die KI-Methode, die von Newell und Simon hoffnungsvoll begonnen wurde und gegen Ende der sechziger Jahre richtiggehend aufgebläht war, steckt heute in immensen Schwierigkeiten.

"Innerhalb einer Generation", prophezeite Marvin Minsky 1977 noch voller Stolz, "werden wir das Problem, Künstliche Intelligenz zu erzeugen, weitgehend gelöst haben" (vergleiche Literaturhinweis 10). Doch dann gab es plötzlich Schwierigkeiten zuhauf. Die härteste Nuß, das Common-sense-Problem, war leider nicht mit einer Liste von ein paar hunderttausend Fakten und einem entsprechenden Regelwerk lösbar. Minsky selbst sah bald ein, daß er sich mit seinen euphorischen Vorhersagen verrannt hatte und gestand einem Reporter, das KI-Problem sei eines der schwierigsten, das die Wissenschaft überhaupt je angegangen hätte.

Die nationalistische Tradition hat den empirischen Test nicht bestanden. Die Idee, man könne eine formale, atomistische Theorie der Alltagswelt erzeugen und diese Theorie in einem Computer repräsentieren, führte genau zu jenen Problemen, die schon Heidegger und Wittgenstein entdeckt hatten. Frank Rosenblatt, der mit seinem Perceptron sang- und klanglos untergegangen war, hatte also doch recht gehabt, als er behauptete, jeder Versuch, die Welt zu formalisieren, sei zum Scheitern verurteilt.

Jetzt wurde sein während mehr als zehn Jahren abgewürgtes Forschungsprogramm, mit dem Computer ein holistisches Modell eines idealisierten Gehirns zu bauen, plötzlich wieder aktuell. Zwar mokierten sich frustrierte Forscher der alten Schule in der frühen achtziger Jahren über die neuronalen Netze und bezeichneten sie als einzigen Strohhalm der Künstlichen Intelligenz, der nicht untergegangen sei. Doch die Konnektionisten in den Fußstapfen von Rosenblatt gewannen schnell die Oberhand. Das erste Buch zu diesem Thema mit dem Titel "Parallel Distributed Processing", geschrieben von David E. Rumelhart und James L. McClelland, wurde zu einem echten Wissenschaftsbestseller (vergleiche Literaturhinweis 11).

Der konnektionistische Ansatz avancierte in kürzester Zeit vom obskuren Kult, der nur wenige Anhänger hatte, zu einer veritablen Wissenschaftsbewegung mit Tausenden von Gläubigen.

Wenn die neuronalen Netze die Versprechungen der Forscher erfüllen, wird man nicht nur die Weltansichten von Leuten wie Descartes und Husserl korrigieren, sondern auch die grundlegende philosophische Idee aufgeben müßten, daß es für alles und jedes in dieser Welt eine Theorie gebe. Neuronale Netze könntet beweisen, daß Heidegger, der späte Wittgenstein und Rosenblatt recht hatten, als sie behaupteten, die Menschen benehmen sich intelligent in ihrer Welt, ohne davon eine exakte Theorie zu haben.

Gibt man den philosophischen Ansatz der klassischen KI auf und nimmt den theoriefernen Ansatz der neuronalen Netze an, so bleibt eine entscheidende Frage: Wieviel alltägliche Intelligenz kann ein solches Netz erfassen Bei der Mustererkennung erzielen neuronale Netze sehr gute Resultate. Sehr viel mehr Mühe haben sie hingegen mit Aufgaben, die man am besten schrittweise löst das ist eher die Domäne der klassischen Kl.

Die Konnektionisten behaupten natürlich, es sei nur eine Frage der Zeit, bis sie dieses Problem gelöst hätten. Sehr vertrauenserweckend ist das allerdings nicht: Die Antwort erinnert den aufmerksamen Beobachter zu sehr an jene Stellungnahmen, die die Vertreter der andern Schule vor 20, Jahren auf entsprechende Kritik gegeben hatten.

Ansätze sind noch auf unsicherem Terrain

Wir haben also auf der einen Seite einen Apparat, der gute logische Fähigkeiten besitzt, sich aber mit einfachsten Alltagsproblemen schweiftest, auf der andern Seite ein Gerät, bei dem es genau umgekehrt ist. Könnten sich die beiden nicht ergänzen - etwa wie die linke und die rechte Gehirnhälfte, denen man ähnlich unterschiedliche Eigenschaften nachsagt?

Leider ist das nicht so einfach, denn die Probleme lassen sich in der Praxis nie so genau auseinanderhalten, daß man sagen kannte: So, das ist jetzt eine Aufgabe für die "neuronale Hälfte". Ganz abgesehen davon bewegen sich beide Ansätze heute noch auf sehr unsicherem Terrain. Nachdem der symbolische Ansatz im Alleingang fehlgeschlagen ist, sollte man auch den neuronalen Netzen die Chance zum Scheitern geben.

Einen entscheidenden Unterschied gibt es allerdings zwischen den beiden Forschungsprogrammen: Das physische Symbolsystem funktioniert nicht, weil sich die Annahme, es müsse für alles eine Theorie geben, als falsch erwiesen hat. Die Konnektionisten machen keine solchen Annahmen, und das könnte ihre Chance sein.

Anderseits ist das Ziel, ein neuronales Netz zu synthetisieren, das unserem Gehirn genügend ähnlich ist, vielleicht nie erreichbar. Es könnte sogar sein, daß das gleiche Commonsense-Problem, das die Symbolisten nicht lösen konnten, eines Tages auch die Konnektionisten zu Fall bringt.

Die Forscher sind sich jedenfalls einig, daß ein Netz nur dann als intelligent bezeichnet werden kann, wenn es die Fähigkeit zu Verallgemeinerungen besitzt. Speist man dem Netz genügend Beispiele in Verbindung mit einem bestimmten Output ein, sollte es weitere Inputs der gleichen Sorte automatisch mit dem gleichen Output assoziieren. Gelingt ihm dies, so gilt das als Erfolg.

Aber wie ist denn eine Assoziation des Netzes zu bewerten, welche die Erbauer nicht erwartet haben? Als Fehlleistung? Nicht unbedingt - vielleicht hat das Netz eine andere Sicht von Ähnlichkeit als der Netzdesigner und demonstriert mit der unerwarteten Assoziation diesen Unterschied! Ähnliche Situationen gibt es übrigens auch im menschlichen Alltag: Bei Intelligenztests zum Beispiel haben Aufgaben vom Typ "Setze diese Reihe fort!" häufig mehr als eine Lösung.

Vielleicht muß ein neuronales Netz die gleiche Größe, Architektur und Anfangskonfiguration haben wie das menschliche Gehirn, um ganz unserer Vorstellung von sinnvollen Verallgemeinerungen zu entsprechen. Wenn das Netz aus eigenen Erfahrungen lernen und nicht von einem Trainer auf menschliche Assoziationen gedrillt werden soll, muß es auch unseren Sinn für die Richtigkeit der Denkresultate teilen. Das heißt aber, daß das künstliche neuronale Netz die menschlichen Bedürfnisse, Wünsche und Emotionen kennen müßte, und dies wiederum ist nur möglich, wenn der Apparat einen menschenähnlichen Körper besitzt.

Falls Heidegger und Wittgenstein recht haben, sind wir Menschen viel holistischere Wesen als neuronale Netze: Unsere Motivation für Intelligenz entspringt den Zielen, die wir als Organismus erfüllen wollen. Diese beziehen wir aus der ganzen Kultur, die uns umgibt.

Im Grunde genommen müßten sich die KI-Forscher auf die gleiche Stufe begeben und für die Realisierung von Künstlicher Intelligenz Organismen bauen, die ebenfalls in einer ganzen Kultur eingebettet sind. Bis die modernen Zauberlehrlinge dieses Ziel erreichen, haben sie, egal welche Schule sie vertreten, allerdings noch einen sehr weiten Weg vor sich. *

Literatur:

5) Marvin Minsky and Seymour Papert: "Perceptions: an Introduction to Computational Geometry", (Cambridge: The MIT Press, 1969), p. 19

6) Sir James Lighthill: "Artificial Intelligence : A General Survey" in "Artificial Intelligence: a paper symposium", (London: Science Research Council, 1973).

7) Allen Newell and Herbert Simon: "Computer Science and Empirical Inquiry: Symbols and Search", reprinted in "Mind Design", John Haugeland, ed. (Cambridge: Bradford/MIT Press, 1981), p.64

8) Terry Winograd: "Artificial Intelligence and Language Comprehension", in "Artificial Intelligence and Language Comprehension", National Institute of Education, 1976, p. 9

9) Imre Lakatos: "Philosophical Papers", ed. J. Worrall, (Cambridge: Cambridge University Press 1978)

10) Marvin Minsky: "Computation: Finite and Infinite Machines", (New York: Prentice Hall, 1977), p.2

11) David E. Rumelhart and James L. McClelland, eds: "Parallel Distributed Processing I & II", (Cambridge: MIT Press, 1986)