Wenn ihr Lust habt euch einmal mit lokaler KI auf eurem eigenen Rechner zu beschäftigen, dann schaut mal in den Notizen von Nils Vortrag vom 28.06.2023 vorbei. Hier zeigt er mit Übersichten und Code-Beispielen, wie Große Sprachmodelle (LLMs) lokal auf eurem Rechner ausgeführt werden können. Dafür werden die Modelle genutzt, die sich aus dem LLaMA von Meta (facebook) entwickelt haben.
Der Vorteil von lokalen LLMs, die ähnlich zu ChatGPT sind, ist folgender: Keine Daten verlassen euren Computer und ihr könnt sicher sein, dass die Daten von niemandem abgegriffen werden können. So sind auch Datenschutz-sensible Arbeiten möglich. Die Modelle sind noch nicht so gut wie ChatGPT, entwickeln sich aber rasant weiter. Probiert es einfach mal aus! Wenn ihr Hilfe braucht, kommt gerne mal im Makerspace vorbei und sprecht uns an.
Hier geht es zu den Notizen auf Englisch: https://hackyhour.github.io/Giessen/notes/2023-06-28-HackyHour-11.html
Und hier findet ihr die Folien:
