AI im Kanzleialltag

[JaM1e]

Das liest sich halt mal wieder so, ja wenn man alle Nachteile der Technologie, wie das systemimmanente Halluzinieren weglässt, dann wird sie uns gefährlich. In die Zukunft schauen, kann keiner der Kollegen, aber wir werden sehen was sie bringt.

[Patenter Gast]

Danke für den Link. Der deckt sich fast zu 100% mit meinen (besorgten) Kommentaren in einem anderen Thread zu KI und den Auswirkungen auf den Rechtsdienstleistungsmarkt. Gerade was das exponentielle Entwicklungspotential von KI, die Auswirkung auf Billable hours und der zukünftige Bedarf an anwaltlicher Tätigkeit angeht. Ich war da ja mehr oder minder allein mit meiner Meinung.

Damit du nicht wieder Panik bekommst, hier die gegenteilige Aussage in einer aktuellen Studie der Stanford University:

"Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive"

https://hai.stanford.edu/news/hallucinat...-pervasive

"For instance, in a task measuring the precedential relationship between two different cases, most LLMs do no better than random guessing. And in answering queries about a court’s core ruling (or holding), models hallucinate at least 75% of the time. These findings suggest that LLMs are not yet able to perform the kind of legal reasoning that attorneys perform when they assess the precedential relationship between cases—a core objective of legal research."

Viele Anwender von LLMs verwechseln leider weiterhin die sprachliche Qualität der LLMs mit der inhaltlichen Qualität. Die LLMs werden sich sicherlich noch verbessern, aber von einer sicheren Anwendung sind wir noch weit entfernt.

[nachdenklich]

Danke für den Link. Der deckt sich fast zu 100% mit meinen (besorgten) Kommentaren in einem anderen Thread zu KI und den Auswirkungen auf den Rechtsdienstleistungsmarkt. Gerade was das exponentielle Entwicklungspotential von KI, die Auswirkung auf Billable hours und der zukünftige Bedarf an anwaltlicher Tätigkeit angeht. Ich war da ja mehr oder minder allein mit meiner Meinung.

Damit du nicht wieder Panik bekommst, hier die gegenteilige Aussage in einer aktuellen Studie der Stanford University:

"Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive"

https://hai.stanford.edu/news/hallucinat...-pervasive

"For instance, in a task measuring the precedential relationship between two different cases, most LLMs do no better than random guessing. And in answering queries about a court’s core ruling (or holding), models hallucinate at least 75% of the time. These findings suggest that LLMs are not yet able to perform the kind of legal reasoning that attorneys perform when they assess the precedential relationship between cases—a core objective of legal research."

Viele Anwender von LLMs verwechseln leider weiterhin die sprachliche Qualität der LLMs mit der inhaltlichen Qualität. Die LLMs werden sich sicherlich noch verbessern, aber von einer sicheren Anwendung sind wir noch weit entfernt.

"Not yet". Ich glaube einfach, dass hiet das exponentielle Entwicklungspotential von KI bzw LLMs unterschätzt wird. Ich habe zB auch mal auf ein Gutachen (glaube es war Harvard) Bezug genommen, die die Rechtsdienstleistungsbranche als besonders von KI bedroht ansieht und in naher Zukunft von einer "Industrialisierung" des Rechts ausgeht, wo jedermann kostengünstig Zugang zu den "sichersten" Vertragsentwürfe haben wird usw.

Halluzinationen sind nicht mit KI inhärent. Und wenn der einzige Unterschied zur Daseinsberechtigung noch die "Hoffnung" ist, dass Halluzinationen weiterhin bestehen...dann Prost..

Ich sage auch nicht, dass keine Juristen mwhr gebraucht werden. Ich bin nur der Meinung, dass zukünftig deutlich weniger Bedarf existieren wird. Auch der sich peu a peu durchsetzende Wegfall der billable hours wird viele Ksnzleien und Anwälte wirtschaftlich zusetzen.

[Gast4321x]

Danke für den Link. Der deckt sich fast zu 100% mit meinen (besorgten) Kommentaren in einem anderen Thread zu KI und den Auswirkungen auf den Rechtsdienstleistungsmarkt. Gerade was das exponentielle Entwicklungspotential von KI, die Auswirkung auf Billable hours und der zukünftige Bedarf an anwaltlicher Tätigkeit angeht. Ich war da ja mehr oder minder allein mit meiner Meinung.

Damit du nicht wieder Panik bekommst, hier die gegenteilige Aussage in einer aktuellen Studie der Stanford University:

"Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive"

https://hai.stanford.edu/news/hallucinat...-pervasive

"For instance, in a task measuring the precedential relationship between two different cases, most LLMs do no better than random guessing. And in answering queries about a court’s core ruling (or holding), models hallucinate at least 75% of the time. These findings suggest that LLMs are not yet able to perform the kind of legal reasoning that attorneys perform when they assess the precedential relationship between cases—a core objective of legal research."

Viele Anwender von LLMs verwechseln leider weiterhin die sprachliche Qualität der LLMs mit der inhaltlichen Qualität. Die LLMs werden sich sicherlich noch verbessern, aber von einer sicheren Anwendung sind wir noch weit entfernt.

Die Studie nutzte GPT3.5, nicht GPT4, d.h. sie basiert nicht auf dem aktuellen technischen Stand. Das ist relevant: GPT3.5 hat den Bar Exam nicht bestanden, mit Punktezahl unterhalb des Standards der 10% schwächsten menschlichen Kandidaten. GPT4 hat ihn mit einer Punktezahl bestanden, die besser als 90% derjenigen von menschlichen Kandidaten ist. 

 Ich würde mich da nicht entspannt zurücklehnen.

[nachdenklich]

Danke für den Link. Der deckt sich fast zu 100% mit meinen (besorgten) Kommentaren in einem anderen Thread zu KI und den Auswirkungen auf den Rechtsdienstleistungsmarkt. Gerade was das exponentielle Entwicklungspotential von KI, die Auswirkung auf Billable hours und der zukünftige Bedarf an anwaltlicher Tätigkeit angeht. Ich war da ja mehr oder minder allein mit meiner Meinung.

Damit du nicht wieder Panik bekommst, hier die gegenteilige Aussage in einer aktuellen Studie der Stanford University:

"Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive"

https://hai.stanford.edu/news/hallucinat...-pervasive

"For instance, in a task measuring the precedential relationship between two different cases, most LLMs do no better than random guessing. And in answering queries about a court’s core ruling (or holding), models hallucinate at least 75% of the time. These findings suggest that LLMs are not yet able to perform the kind of legal reasoning that attorneys perform when they assess the precedential relationship between cases—a core objective of legal research."

Viele Anwender von LLMs verwechseln leider weiterhin die sprachliche Qualität der LLMs mit der inhaltlichen Qualität. Die LLMs werden sich sicherlich noch verbessern, aber von einer sicheren Anwendung sind wir noch weit entfernt.

Die Studie nutzte GPT3.5, nicht GPT4, d.h. sie basiert nicht auf dem aktuellen technischen Stand. Das ist relevant: GPT3.5 hat den Bar Exam nicht bestanden, mit Punktezahl unterhalb des Standards der 10% schwächsten menschlichen Kandidaten. GPT4 hat ihn mit einer Punktezahl bestanden, die besser als 90% derjenigen von menschlichen Kandidaten ist. 

 Ich würde mich da nicht entspannt zurücklehnen.

Und bald wird es sie nächste Version von GPT geben, die wiederum deutlich leistungsstärker sein wird. Ferner gibt es ja auch auf Jura zugeschnittene Modelle.

[Äfes]

Habe vorhin versucht, ein Urteil für eine Zeitschrift zusammenfassen zu lassen. Ergebnis war leider nicht besonders tauglich. Vielleicht kriege ich ihn aber noch so weit.

[nachdenklich]

Also in meiner Region haben sich die Stellenangebote für RAe bzw Juristen deutlich reduziert. Das dürfte aber eher an der aktuellen wirtschaftlichen Lage liegen. Dies gilt gerade für Berufseinsteiger.

Interessant ist aber: der Bedarf und die Suche nach Refas ist weiterhin riesig. Obwohl man ja denken könnte, KI würdw gerade an dieser Stelle besonders effizient die Axt anlegen.

[Konova]

Also in meiner Region haben sich die Stellenangebote für RAe bzw Juristen deutlich reduziert. Das dürfte aber eher an der aktuellen wirtschaftlichen Lage liegen. Dies gilt gerade für Berufseinsteiger.

Interessant ist aber: der Bedarf und die Suche nach Refas ist weiterhin riesig. Obwohl man ja denken könnte, KI würdw gerade an dieser Stelle besonders effizient die Axt anlegen.

Die meisten Kanzleien sind weder zu 100 % digital, noch überwiegend. Es wird noch viel mit Papierakten und postalischen Posteingängen gearbeitet. Eine bloß digitale Assistenz kann hier aktuell einfach noch nur begrenzt helfen.

Von der ganzen Fristenwahrungsproblematik und der damit verbundenen Verantwortung von ReFas und den Anwälten ganz zu schweigen; hier wird sich beim reißen einer Frist niemand hinter der KI verstecken können

[nachdenklich]

.

[nachdenklich]

.