¿En qué medida se utiliza Hadoop en las finanzas?

Casi todos los grandes bancos con los que he hablado tienen un proyecto piloto o un clúster de producción en ejecución.

Algunos ejemplos de casos de uso que vienen a la mente:

  • Consolidación y análisis de registros de TI (para uso en aprovisionamiento, análisis forense, etc.)
  • Recopilación y análisis de mensajes de bus de servicio empresarial.
  • Identificar el fraude de transacciones: crear un gran conjunto de datos para la creación de modelos y pruebas
  • Consolidar los almacenes de datos de productos de consumo y los registros de transacciones para crear una puntuación de riesgo unificada en los productos de consumo (banca minorista, préstamos para la vivienda, préstamos para automóviles, préstamos estudiantiles, tarjetas de crédito, etc.)
  • Transformación diaria de datos a nivel de préstamo entregados por un proveedor de servicios en un formato personalizado a un formato consolidado adecuado para cargar en una base de datos
  • Recopilación y análisis de registros de simulación de una cuadrícula de cómputo de miles de nodos
  • Base de datos de ticks de series temporales escalonadas (datos recientes almacenados en un almacén de columnas en memoria, datos más antiguos almacenados en Hadoop)
  • Comprobar almacenamiento y recuperación de imágenes
  • Procesamiento diario de datos del mercado de valores con fines de cumplimiento.
  • Creación de un repositorio de datos históricos del mercado de valores para el ajuste del modelo y las pruebas posteriores

Hadoop es (todavía) nuevo en Finanzas … aunque estoy de acuerdo con la publicación anterior de que está en varias etapas de prueba en muchas instituciones financieras … realmente no ha sido una fuerza dominante … todavía.

Los desafíos se originan en los orígenes de hadoop, una poderosa plataforma de procesamiento de datos masivamente paralela y escalable utilizada principalmente para datos web (análisis de clics, problemas de optimización de anuncios, motores de recomendación).

De hecho, cuando Google aprovechó por primera vez estos principios para sus propios sistemas, mientras que la plataforma resultante fue revolucionaria, el hecho de que había tolerancia para un margen de error (la gente estaba bien si el enlace servido no era “exactamente” el correcto) Vale la pena señalar.

Para su uso en Finanzas (u otras industrias para el caso, como atención médica, venta minorista, etc.), donde los resultados precisos son críticos, lo que se necesita es una industrialización de hadoop, similar a lo que se ha hecho para el espacio web. Junto con esto, es necesario identificar los problemas comerciales que deben resolverse y PUEDEN resolverse con Hadoop (la respuesta es que no todo puede resolverse)

En Tresata (divulgación … es mi compañía), estamos haciendo precisamente eso. Hemos creado y entregado un motor analítico que no solo puede almacenar y recuperar, sino también procesar, analizar, calificar y visualizar datos financieros … a escala. Aún más importante, lo hemos ajustado para problemas comerciales específicos, resolviendo lo que puede tener un impacto masivo en el resultado final. Y sí, se puede hacer, ya que no solo estamos enfocados en una sola vertical de la industria (finanzas), sino que también conocemos sus datos al revés.

La industria financiera depende básicamente del análisis de datos y los números crujientes. Algunas de las características más destacadas del anuncio mencionadas en este artículo por DeZyre.com son como
1- Personalización y recomendación
2- Prácticas contra el lavado de dinero
3- Análisis de cartera y valoración de activos

Aquí también hay un estudio de cuidado sobre qué tan grandes jugadores financieros usan Hadoop

Visita también este video que explica lo mismo

More Interesting

¿Qué es mejor: el comercio discrecional o sistemático?

En 2012, ¿quién es más importante para la prosperidad económica de Estados Unidos, Silicon Valley o Wall Street?

¿Quiénes son las personas más efectivas para establecer contactos en Wall Street?

¿Cómo es trabajar en Wall Street con solo un diploma de escuela secundaria?

¿Debo ir a la Northeastern University, Reed College, University College London o la Universidad de Toronto?

¿Cómo afecta el mercado de valores cuando un demócrata o un republicano es elegido para presidente de los Estados Unidos?

¿Cómo llegó Drexel Burnham a dominar los bonos de alto rendimiento en Wall Street en la década de 1980 dado que entonces no era un gran jugador?

¿La élite de Wall Street creará un colapso del mercado para asustar a la gente a votar por Hillary Clinton?

¿Qué tan buena es la Universidad de Boston para Wall Street?

Si los economistas de la Ivy League son tan inteligentes, ¿por qué la mayoría de ellos no predijo el colapso de 2008?

¿Cómo es malo el resultado de la salida a bolsa de Facebook para los bancos de inversión de Wall Street involucrados?

Si perdí $ 20,000 en el mercado de valores recientemente, ¿es factible que vuelva con los $ 12,000 que me quedan?

¿Por qué Goldman Sachs fue mucho más pro-Obama en 2008 que después?

¿Cómo era la banca de inversión antes de la era de la informática?

¿Cómo poner su pie en la puerta para convertirse en un analista de investigación de capital? ¿Qué empresas lo patrocinarían y le proporcionarían el mejor campo de entrenamiento?