¿Por qué los mejores investigadores de IA no trabajan para Wall Street?

Gracias por el A2A, Marek.

Muchos estudiantes de doctorado fuertes que trabajan en subcampos de IA (aprendizaje automático, matemática aplicada, física aplicada, optimización numérica, estadística) terminan yendo a Wall Street. Me he internado en un fondo de cobertura de Wall Street. Créame cuando digo que estos chicos y chicas son los mejores en lo que hacen. Medallistas de oro de la OMI, ganadores de IOI, ganadores de la competencia de Kaggle, ex profesores de Harvard, etc. Esto incluso se extiende a la gerencia equipo – John Overdeck, presidente y cofundador de Two Sigma, venció a Terence Tao en una competencia de acertijos matemáticos durante un evento de caridad de Matemáticas.

Como dice Roman, no parece que los investigadores de IA vayan a Wall Street porque simplemente no escuchas sobre estos investigadores. Los quants en los fondos de cobertura no publican su trabajo, no se les permite bloguear sobre nada relacionado con el trabajo, no dan charlas y, a menudo, la única persona con la que pueden discutir sus modelos son sus supervisores directos.

La cultura de investigación de Wall Street tiene algunos inconvenientes, lo que veo como un elemento disuasorio para reclutar talentos de investigación:

  • La falta de intercambio de ideas / colaboración / discusión en torno a modelos patentados hace que la investigación de Wall Street sea más aislada. Algunos investigadores disfrutan de poder colaborar y “armar cerebros”. Por supuesto, los investigadores de Wall Street son tan buenos que no necesitan trabajo en equipo para tener éxito.
  • Wall Street solo invierte en investigación que sea útil en la inferencia de mercado (precios de acciones, volatilidad, indicadores económicos). Incluso en un lugar como Two Sigma, que disfruta de una cultura científica bastante abierta, los investigadores cuantitativos no buscarán cosas como “Modelos generativos para la música” o “clasificación de imágenes de gatos”, simplemente porque no es relevante para el resultado final en el término corto. Esto no se alinea con los incentivos de los investigadores de IA que desean investigar problemas de cielo azul como “resolver inteligencia”.
  • Los proyectos se organizan en un plazo de 3 a 9 meses. Los modelos dejan de funcionar porque la distribución de datos del mercado no es estacionaria, por lo que debe tirar su trabajo y comenzar de nuevo. En igualdad de condiciones, los investigadores prefieren resultados y técnicas que tengan implicaciones científicas duraderas o contengan ideas que otros puedan construir / citar.
  • Históricamente, los fondos de cobertura no estaban interesados ​​en absoluto en Deep Learning (un término tan sobrevalorado que se ha convertido en sinónimo de “AI” en sí) porque “es una caja negra”. Esta es la razón por la cual hay pocos investigadores de Deep Learning en Wall Street. De mi discusión con los quants reales en varias empresas, creo que gran parte de ello es un sesgo académico a favor de la regresión lineal / bosques aleatorios, y una paranoia de que el Aprendizaje Profundo se adapte a todo.

El rumor es que los fondos de cobertura están comenzando a reevaluar su postura sobre el aprendizaje profundo, dada la evidencia reciente de cuán enormemente poderosas son las técnicas modernas. Estas empresas ya no pueden ignorar el hecho de que Deep Learning ahorra facturas de energía en un 15% o aumentar la calidad de los anuncios en línea e incorporar información de imágenes.

Una vez que esto suceda, habrá una demanda mucho más fuerte de investigadores de Deep Learning en el sector financiero. La función de utilidad de todos tiene un término $$$, incluso si la función de utilidad de un investigador está regularizada por cosas como ‘felicidad’ y ‘capacidad de compartir investigación’, aumentar el término $$$ lo suficiente eventualmente producirá una utilidad más alta.

Ellas hacen. Simplemente no escuchas sobre ellos.

Wall Street tiene que ver con el dinero. No establece objetivos como avanzar en la ciencia o hacer que la tecnología esté más disponible. Y el dinero es un poderoso incentivo, el que incluso las personas más inteligentes pueden caer. Por lo tanto, para muchos de ellos es más atractivo aplicar los mismos métodos sofisticados en un piso de negociación (en sentido figurado) que presentarlos en las conferencias. Eligen otra vida, mucho más lucrativa, que es una jugada inteligente después de todo.

No significa que todas las personas más inteligentes trabajen allí en las sombras. Pero puedes conocer a tantos de ellos en Wall Street como en Menlo Park.

En una nota al margen: la respuesta de Roman Trusov a ¿Quién es el administrador de fondos de cobertura más inteligente de la historia? Cuento una historia corta sobre una persona que es tanto un científico muy consumado como un multimillonario de Wall Street. Y en su fondo de cobertura solo contrata doctorados con una capacidad asombrosa comprobada para construir modelos matemáticos, por lo que hay al menos una evidencia material allí mismo.

Las personas que trabajan en Wall Street no publican mucho, y casi por definición, los mejores investigadores son los que tienen las mejores y más influyentes publicaciones.

Algunos lo hacen. La mayoría no lo hace.

Muchos especialistas en IA trabajan para una empresa que se centra en la IA o en la academia.

El departamento de TI / Tecnología de una empresa de Wall Street suele estar varios años detrás del estado del arte. Primero, porque les gusta usar tecnologías probadas, segundo, porque a menudo son grandes empresas y, naturalmente, tienden a moverse lentamente.

Desafortunadamente, hay muchas personas muy inteligentes trabajando en Wall Street.