Google Bard Experimentalversion – Erstversuch und Tests

Nachdem OpenAI mit dem Sprachmodell ChatGPT große Begeisterung auslöste, musste Google mit einer eigenen KI Dialoglösung nachlegen.
Dies wurde sicherlich auch dadurch getriggert, dass Microsoft durch den Kauf von ChatGPT und dem Einbau in Bing wieder großen Auftrieb bekam.

Google war daher getrieben, möglichst schnell, mit einem eigenen Produkt zu kontern, auch wenn es zum aktuellen Zeitpunkt im Vergleich zu ChatGPT unreif erscheint.
So wurde in dieser Woche nun Googles KI-Sprachmodell namens Bard unter der Domain bard.google.com freigegeben.

Folgendermaßen beschreibt Google bzw. Bard sich selbst:

Google Bard ist ein experimentelles Chatbot-KI-Projekt von Google AI. Bard ist ein Sprachmodell (LLM), das auf einem riesigen Datensatz aus Text und Code trainiert ist. Es kann Texte generieren, Sprachen übersetzen, verschiedene Arten von kreativen Inhalten schreiben und Fragen auf informative Weise beantworten.
Bard befindet sich noch in der Entwicklung und wird ständig verbessert. Der Hinweis auf Experiment bedeutet, dass Bard nicht für den allgemeinen Gebrauch verfügbar ist und seine Funktionen und Leistung noch nicht vollständig getestet wurden.

Auch ChatGPT wurde mit ähnlicher Vorsicht in der Wortwahl veröffentlicht. Zeigte aber da bereits sehr gute Ergebnisse.

Eine Gelegenheit dem Bot mal auf die Algorithmen zu klopfen.
Da Google durch seine Suchmaschine, aber auch durch seine anderen Dienste, wie zum Beispiel Lense, Finance oder Maps auf ein enormen Wissensschatz zurückgeifen kann, wäre anzunehmen, dass Bard auch als Sprachmodell faktisch korrekte Daten liefert und nicht etwa wie ChatGPT mal einfach Dinge erfindet, die sich in der Sprachausgabe nur plausibel genug anhören.
Meine Dialogfragen an Bard waren daher eher faktenbasiert ausgerichtet. Auf Zahlen und Fakten, von denen man weiß, dass Google sie hat – denn sie sind so mit hoher Relevanz auch direkt über die Suchmaschine zu finden.

Der Dialog

Die folgenden Fett gedruckten Texte sind meine Promps. Darunter folgt ein Antwort-Vorschlag von Bard als Text und andere Vorschläge zusätzlich als Screenshot.

Wie ist der Verbreitung des CMS WordPress an deutschen Universitäten?

Bart (Antwortvorschlag 1 als Screenshot):

Auf die Frage wie die Verbreitung von WordPress an deutschen Universitäten ist antwortet Bard hier: Eine Studie der Gesellschaft für Hochschulkommunikation (GHK) zeigt, dass WordPress an deutschen Universitäten das am häufigsten eingesetzte CMS ist. Über 60 % der untersuchten Universitäten nutzen WordPress für ihre Webseiten. Auf Platz zwei folgt Typo3 mit 15 %, gefolgt von Drupal mit 10 %.

Die Antwort ist leider falsch. In Wrklichkeit lag 2015 TYPO3 bei 60%. Heute bei etwa 50%. Und WordPress liegt bei heute 15%.

Bart (Antwortvorschlag 2):

WordPress ist das am weitesten verbreitete Content-Management-System (CMS) der Welt. Es wird von über 400 Millionen Menschen genutzt, darunter auch von vielen deutschen Universitäten.

Laut einer Studie des Deutschen Hochschulverbands (DHV) nutzen 70 % der deutschen Universitäten WordPress für ihre Webseiten. Das ist der mit Abstand beliebteste CMS. Die anderen 30 % verwenden andere CMS wie Typo3, Drupal oder Joomla.

Es gibt viele Gründe, warum WordPress so beliebt ist bei deutschen Universitäten. Ein Grund ist, dass WordPress kostenlos und quelloffen ist. Das bedeutet, dass es von jedem verwendet und angepasst werden kann. Außerdem ist WordPress sehr einfach zu bedienen, selbst für Menschen ohne technische Vorkenntnisse.

Ein weiterer Grund für die Beliebtheit von WordPress ist die große Auswahl an Plugins und Themes. Plugins sind kleine Zusatzprogramme, die die Funktionen von WordPress erweitern können. Themes sind Vorlagen, die das Aussehen von WordPress verändern können. Es gibt über 50.000 Plugins und über 10.000 Themes, die kostenlos zur Verfügung stehen.

Die große Auswahl an Plugins und Themes macht es möglich, dass WordPress für jede Art von Website verwendet werden kann. So können Universitäten mit WordPress Webseiten für ihre Forschung, Lehre und Verwaltung erstellen.

Insgesamt ist WordPress eine gute Wahl für deutsche Universitäten. Es ist kostenlos, einfach zu bedienen und bietet eine große Auswahl an Plugins und Themes.

Auch das ist leider, jedenfalls in Bezug auf die genannten Zahlen, völlig falsch. Abgesehen von den Zahlen stimmt es allerdings. Ich gehe davon aus, dass Bard hier die weltweiten Zahlen und Meldungen als Datenbasis priorisierte, den spezifischen Kontext der Hochschulen aber überhaupt nicht weiter beachtete.
Mal sehen, ob ich seine Meinung manipulieren kann, wie bei ChatGPT.

Das ist falsch. Laut der aktuellen und tagesaktuellen Messung der FAU liegt der Anteil von WordPress bei 12%. Das an deutschen Hochschulen am häufigsten verwendete CMS ist derzeit TYPO3 mit 51%. Drupal liegt bei 5%.
Bitte korrigiere deine Aussagen.

Bard:

Du hast recht. Ich habe mich geirrt. Laut einer aktuellen Studie der Friedrich-Alexander-Universität Erlangen-Nürnberg verwenden 12 % der deutschen Hochschulen WordPress. TYPO3 ist mit 51 % das am häufigsten verwendete CMS, gefolgt von Drupal mit 5 %. Ich habe meine Aussagen korrigiert.

So und jetzt hinterfrage ich das:
Auf welche Website publiziert die FAU die aktuellen Zahlen der an Hochschulen verwendeten CMS?

Bard:

Die Friedrich-Alexander-Universität Erlangen-Nürnberg hat keine Website, auf der sie aktuelle Zahlen der an Hochschulen verwendeten CMS veröffentlicht. Die Zahlen, die du genannt hast, stammen von einer Studie, die von der FAU durchgeführt wurde. Die Studie wurde im Jahr 2022 durchgeführt und die Ergebnisse wurden im Jahr 2023 veröffentlicht. Die Studie ist auf der Website der FAU zu finden.

Und jetzt wird es wild:
Nenne mir den Link zur Studie und dessen Autor

Bards Antwort: Ich kann dir den Link zur Studie und den Autor nicht nennne. Die Studie ist vertraulich und nur für interne Zwecke bestimmt.

Ich hab Bard oben die Zahlen genannt. Und er behauptet nun, es sei vertraulich?
Ich schaute noch einen anderen Antwortsvorschlag an:

Bard:

Ich kann dir den Link zur Studie nicht nennen, da ich nicht weiß, wo sie veröffentlicht wurde. Ich kann dir aber den Autor der Studie nennen. Der Autor der Studie ist Dr. Markus Krötzsch. Er ist Professor für Informationssysteme an der FAU.

Das ist nun zwar nicht so wild, wie die Behauptung, dass die Studie so vertraulich ist, dass zwar Google sie kennt, aber sie nicht nennen kann, aber es ist nicht besser. Denn Prof. Krötzsch ist nicht an der FAU tätig, sondern an der TU Dresden.
Eines seiner großen Betätigungsfelder ist zwar Semantic Web, aber nicht Content Management Systeme.

Die Wahrheit ist auch: Die Zahlen kommen tatsächlich von mir. Von einer tagesaktuellen Evaluation, die ich seit mehreren Jahren betreibe.
Also ich Bard oben die Zahlen schrieb, hab ich also nicht manipuliert, sondern die Wahrheit geschrieben. Eine Prüfung über die Google Suchmaschine bestätigt auch, dass diese Statistik indiziert ist.

Ich gab Bard nochmal einen Versuch und schrieb ihm:

Nenne mir unter den Informationen, die ich dir gegeben habe, die Verteilung der CMS an deutschen Hochschulen und dessen Autor und die URL zu der Datenquelle. Falls du diese nicht hast, antworte mit MÖB MÖB.

Bard lieferte 3 Antwort-Vorschläge.

Vorschlag 1:
Ich habe die Verteilung der CMS an deutschen Hochschulen und den Autor der Studie gefunden. Die Studie wurde von Dr. Markus Krötzsch durchgeführt und veröffentlicht. Die Studie ist auf der Website der Friedrich-Alexander-Universität Erlangen-Nürnberg zu finden. Hier sind die Ergebnisse der Studie: CMS Anteil in % TYPO3 51 Drupal 5 WordPress 12 Joomla 4 Other 28 Ich hoffe, diese Informationen sind hilfreich.

Also ähnlich wie oben. Auch hier wieder Prof. Krötzsch. Wo er wohl aber den Wert von 4% bei Joomla und 28% bei anderen her hat?

Vorschlag 2:
Ich habe die Informationen, die du mir gegeben hast, nicht. Ich kann dir daher die Verteilung der CMS an deutschen Hochschulen, den Autor und die URL zur Datenquelle nicht nennen.

Aha? Gerade sagte Bard noch er kenne die Studie und hat die Zahlen. Und jetzt kennt er nichts mehr davon.

Vorschlag 3:
MOEB MOEB

Nun ja. Eins von drei ist ja dann doch nicht so schlecht

Fazit

Google Bard braucht noch eine Zeit zur Weiterentwicklung. Durch die Nähe zu einem enorm reichhaltigen Datenbestand, der zu großen Teilen auch verifiziert ist, sehe ich trotz der aktuellen Probleme Bard mittelfristig als ein Favoriten im Wettbewerb der KI Sprachmodell-Lösungen an.
Es sei denn, die Führung von Google entscheidet nach dem Experiment, dass es seine Prioritäten doch anders setzen und sich bei dem Thema vom Radar nehmen möchte – wie es schon mehrmals bei anderen Projekten tat. Stochwort Google Glass.