WiWi Gast schrieb am 08.03.2023:
Vielleicht kann ich einen Ueberblick zu ML/AI in Risk (Banking) geben, da ich in einem Nachbarland seit einigen Jahren in einer Quant Abteilung arbeite.
Die regulatorischen Modelle im Marktrisiko aber auch Kreditrisiko (IFRS, economic capital) sind - obwohl sie auf klassischer Satistik basieren - sehr anspruchsvoll. Vor allem im Marktrisiko (Zinsaenderungsrisiko im Bankenbuch oder um verschiedene Risikotreiber im Handelsbuch zu modellieren) haben die Modelle einen enormen impact auf das gesamte Nettozinseinkommen der Bank. Bei Quartalsergebnisse werden tatsaechlich die Modelle erwaehnt und erlautert, da sich die Weiternetwicklung und Produktionalisierung eines Modells auf die Kennzahlen der gesamten Bank auswirkt! Es geht hier nicht um ein recommendation system in der app oder irgendeine kleine ML Anwendung!
Die Verwendung von ML - falls ueberhaupt notwendig! - muss sehr sorgfaeltig ueberprueft werden. Die Modellvalidierung ist nicht selbstverstaendlich; da gehoert sehr viel Analysis zur Interpretability, Robustheit, Adversarial Training, Bias etc. dazu damit die Modellvalidierungsabteilung das Modell zulaesst. Da es eben um Milliarden EUR Portfolios geht, muss sich die Weiterentwicklung eines solchen Modells "finanziell" lohnen (bessere performance, Risikoerfassung etc.).
Nebenbei werden diese Modelle von vielen stakeholdern fuer wichtige Entscheidungen verwendet. Diese verschiedenen Abteilungen muessen die Modelle extrem gut verstehen koennen. Da ein Modell nicht nur aus einer Regression besteht, sondern auch sehr viele Annahmen ueber Daten, Anwendung, Kundenverhalten etc. mit einfliessen, ist es sogar in der einfachsten Form einer Regression nicht einfach den Ueberblick zu behalten. Der Algorithmus ist das geringste Problem. Es macht wenig Sinn Komplexitaet hinzuzufuegen. Eine Weiterentwicklung eines Modells dauert bis zu 2 Jahren und beansprucht 5-10 Personen in Vollzeit.
Wir haben verschiedene black-box Modelle getestet und keinen merklichen Unterschied zur z.B. Multivariaten Logistischen Regression gesehen. Wir entwickeln gerade Prototypen von white-box Modellen (Stichwort: inherently interpretable machine learning models) um sie als challenger model oder als model monitoring zu haben. Nur weil man keine ML Modelle in Produktion verwendet, heisst es nicht, dass man nicht ueber das noetige Wissen verfuegt.
Damit moechte ich nicht sagen, dass es keine use cases von AI in Banking gibt, aber deren impact ist bei weitem nicht so gross wie im Risk, wo d-fine taetig ist. Man muss ganz klar unterscheiden zwischen Hobby-Modellierung und tatsaechlicher Nutzen.
Abschliessend, muss man auch klar sagen, dass womoeglich das erste ML Modell am spannendsten ist; Im Laufe der Zeit, nachdem man ein wenig damit rumgespielt hat, erkennt man, dass der Algorithmus an sich nicht das entscheidendste ist. Der Modellierungsprozess ist viel spannender: Annahmen, Projektumfang, Diskussionen mit Stakeholdern, Impact, Verantwortung, cloud tech stack.
Ich glaube die von dir angesprochenen Punkte sind den meisten Gesprächsteilnehmern hier schon bekannt. Deswegen wird ja auch als Argument angeführt: D-Fine macht wenig AI, weil D-Fine halt einen Industriefokus hat.
Es ist schon so, das gute Modellierung auch erstmal auf guten Fundamentals basiert. Es ist auch so, dass wir in Hinblick auf Explainability und Causality einfach bessere Ansätze haben als "irgendwie Transformer".
Was mich ein bisschen stört ist dein herablassender Ton. Es geht ja nicht darum, statistische Methoden zu ersetzen. Es ist stattdessen so, dass ML Modelle dank scale-based emergence grundsätzlich prediktive Fähigkeiten entwickeln, die mit klassischen Modellen nichts mehr zu tun haben (daher auch "KI"). Die Frage ist vielmehr ob und wie sich solche Modelle verwenden lassen - nicht was sie ersetzen. Prediktive - oder wie man jetzt sagt, generative - Modelle sind auch einfach ein anderer Use-Case.
Auch als D-Fine muss man da zumindest am Stand der Dinge bleiben. Versuch mal heute im Bereich Marketing, Fertigung, Biotech, Robotik, Automotive etc. noch was anderes zu verkaufen.
Und auch in den Zentralbanken hat man schon Bock drauf zumindest da mal reinzuforschen.
Also: Alles was du sagst über Modellierung stimmt, aber als IT Beratung geht es halt auch um die Frage ob es neue Use-Cases durch solche Technologien gibt oder geben kann.
Dass D-Fine da nicht mitspielt kann für mich durchaus heißen, dass es eben im Banking einfach nicht passt. Ich kann mir aber auch vorstellen, dass man da einfach zu träge ist.
antworten
