La IA mató la entrevista técnica. ¿Y ahora qué?

• A nadie le gusta el proceso de contratación: ni a los gerentes de contratación, ni a los reclutadores, ni a los postulantes
• La entrevista técnica es una de las etapas con peor fama, y a la mayoría de quienes pasan por ella tampoco les gusta
• En el trabajo real, muchas veces se trata sobre todo de conectar APIs sencillas, pero en la entrevista a menudo preguntan sobre teoría y algoritmos complejos
  • Como cuando el desarrollador de Homebrew, que supuestamente usan el 90% de los ingenieros de Google, no pudo convertir un árbol binario en la pizarra y fue rechazado en la entrevista

Cambios de los últimos años (factores que debilitan la entrevista)

• En entrevistas remotas ha habido casos de personas que apagan la cámara y contratan a un sustituto
• Hubo casos de trabajadores norcoreanos que intentaron conseguir empleo usando videos deepfake
• Con la aparición de herramientas de codificación automática como GitHub Co-pilot y Cursor, además de LLM como Claude u OpenAI, ahora es fácil resolver problemas básicos de programación o preguntas y respuestas
• La IA ya puede intervenir desde la redacción del currículum hasta las postulaciones masivas y las entrevistas en video, pero este texto se enfoca en la entrevista técnica en sí

Lo básico de la entrevista técnica

Casi todas las empresas que contratan desarrolladores tienen un proceso parecido, con pequeñas variaciones, como este:

• Tarea previa en Hackerrank
  • Sirve como filtro para contratar desarrolladores junior o practicantes
  • Se puede resolver el problema libremente en línea
• Fundamentos de ciencias de la computación (Comp Sci Fundamentals)
  • Preguntas sobre estructuras de datos, algoritmos, Big O, etc.
  • Suele estar orientado a desarrolladores junior
• Entrevista de coding
  • Evalúa la capacidad de escribir código real y hacerlo funcionar
  • Con ejemplos de proyectos simples, se revisa el uso básico del lenguaje y la capacidad de resolver problemas
• Arquitectura/diseño
  • Más orientada a desarrolladores senior que junior
  • Evalúa diseño de sistemas, escalabilidad, bases de datos y diseño de APIs, entre otras cosas

Uso de IA en la entrevista

• Por culpa de la IA, el papel de filtro de tareas previas como Hackerrank se ha debilitado mucho
• Los fundamentos de computación y las entrevistas de coding también tienden a resolverse fácilmente, porque la dificultad de los problemas cae dentro del rango de respuestas de los LLM
• Las entrevistas de arquitectura/diseño todavía son relativamente seguras, pero a largo plazo también podrían verse amenazadas si la IA sigue avanzando

¿Cuáles son nuestras opciones?

• 1. Suspender las entrevistas técnicas remotas
  • Si el entrevistador está al lado observando en persona, es difícil usar IA
    • Asumiendo que se supera todo lo demás, podría quedar una entrevista de coding presencial como fase final
• 2. Usar software estilo Pearson Vue
  • Instalar programas de supervisión que vigilan con la cámara
  • No es perfecto, porque ya se conocen varias formas de evadirlo (hasta existen subreddits dedicados al tema)
• 3. Ignorar el problema
  • Depender de una petición moral de “no usar IA”
  • Al final, eso favorece a quien sí usa IA, así que para la empresa se vuelve más difícil seleccionar al candidato adecuado
• 4. Permitir el uso de IA
  • En vez de evaluar solo la habilidad de programar, se evalúa la capacidad de escribir buenos prompts para un LLM y de refactorizar
  • También es una etapa de transición en la que todavía hace falta habilidad de coding para corregir directamente los errores de la salida de la IA
• 5. Enfoque híbrido
  • Un método mixto: primero se revisa de forma remota la capacidad de aprovechar IA y luego se hace una validación final presencial

Soluciones posibles

• A largo plazo, los enfoques 4 y 5 parecen los más viables
• Aunque se aplique RTO, no es posible llamar de forma presencial a todos los candidatos que viven lejos, así que hay que diseñar un método eficiente
• Cambiar el formato mismo de la entrevista también es otra alternativa
  • Hoy muchas entrevistas de coding se quedan en tareas pequeñas, al nivel de FizzBuzz o implementar una calculadora
  • Con apoyo de IA, la dificultad puede ampliarse más de 10 veces y evaluarse mediante la creación de una aplicación completa
  • También se puede intentar una entrevista larga, de unas 2 horas, que combine arquitectura y coding
• En este tipo de formato, se puede pedir que construyan una aplicación, la escalen e implementen funcionalidades adicionales
  • A medida que el codebase crece, tiene la ventaja de permitir comprobar si la persona puede mantener consistencia y demostrar capacidades más profundas en vez de limitarse a respuestas superficiales
• A través de este proceso se puede evaluar lo siguiente
  • Habilidad básica para usar herramientas como git e IDEs
  • Capacidad para dar prompts efectivos a un LLM y programar de forma que obtenga mejores resultados
    • Capacidad para entender y combinar la salida del LLM, y completar el código de una manera mantenible
    • Si puede completar, en tiempo limitado, una aplicación con cierto nivel de tamaño y escalabilidad
  • Capacidad para mantener una calidad y una lógica consistentes
• Este tipo de evaluación integral podría convertirse en una alternativa a la entrevista de coding en la era de la IA

Summary

• Se espera que las entrevistas técnicas sufran cambios importantes en un futuro cercano
• Por ahora, el uso de IA todavía puede ser relativamente lento o notarse de forma torpe, pero con el tiempo podría volverse más difícil de detectar
• Algunos escenarios posibles a partir de esto
  • La tasa de aprobación podría subir y, en cambio, aumentar los casos de personas que fracasan durante el período real de trabajo (probation)
  • La carga para los desarrolladores junior de seguir desde temprano las altas exigencias técnicas de las empresas podría volverse todavía mayor
• Si se populariza la forma de pasar entrevistas de FAANG usando IA, la velocidad del cambio podría acelerarse aún más

[scheee]

Me preocupa que, en vez de reducir el desajuste entre las entrevistas técnicas y el trabajo real, terminen culpando injustamente a la IA.

[whitelips]

No sé si será por este cambio, pero la empresa donde trabajo está haciendo live coding en la entrevista sin preguntas previas.

[cnaa97]

En el lugar donde estoy, ahora estamos avanzando hacia una política que permite usar IA en las entrevistas técnicas para hacer preguntas... Como el input determina el output, más bien para evaluar la capacidad de formular preguntas...

[cronex]

Creo que está bien usar IA.
Pero el resultado que sale así tiene que hacerlo 100% suyo.
Si yo fuera el entrevistador, les pondría una tarea de programación en línea y en la entrevista presencial les pediría que explicaran ese código. Obviamente también haría preguntas adicionales.
Si no pueden explicar el código que entregaron, ya sea que lo hayan escrito ellos o una IA, y tampoco responder sobre eso, entonces hay que descartarlos.

[bbulbum]

> En lugar de evaluar la habilidad para programar, se trataría de evaluar la capacidad de escribir buenos prompts para LLM y la habilidad de refactorización.

Sí creo que estas habilidades se volverán importantes.

[alucard]

No es culpa de la IA; ¿no será que el problema era que las tareas de entrevista ya tenían ese formato tan flojo de “encuentra la optimal answer y con eso todo bien”, y que ahora simplemente ese problema quedó en evidencia? En el trabajo real tampoco es que no se vaya a usar IA, entonces ¿por qué poner restricciones? jaja. Sin importar qué medio se haya usado, si se obtiene el output, eso es lo que importa. Eso sí, sí hace falta evaluar con transparencia cómo se usó ese medio.

[jamsya]

Estoy de acuerdo. Con la llegada de la IA, las pruebas de código mal hechas y alejadas del trabajo real irán quedando naturalmente fuera del mercado, y las empresas que usen mejores métodos de contratación se llevarán al mejor talento.
Es una interesante lucha entre lanza y escudo.

[xguru]

Programa para hacer trampa en entrevistas de Leetcode
Es un caso adecuado de trampa con IA en entrevistas técnicas del que habla este artículo

[GN⁺]

Opiniones de Hacker News

• El mejor proceso de entrevista incluía programación en pareja con miembros del equipo y una entrevista telefónica. En pocos minutos se podía saber si el candidato podía hacer bien el trabajo, y este proceso formó al equipo más productivo en más de 20 años de carrera

  • El problema es la necesidad de procesos escalables y de alto volumen, que ha arruinado gran parte de la cultura del software
  • La mentalidad de "tenemos que procesar a cientos de candidatos, y las métricas del proceso importan más que los resultados" es el problema

• La revisión de código es muy útil como herramienta de evaluación

  • Es importante hacer que el candidato revise código
  • Un perfil junior, mid, senior o staff puede ver cosas muy distintas en la misma base de código
  • A medida que el código generado por IA se vuelve común, es importante elegir desarrolladores que puedan revisar con eficiencia la calidad y exactitud del código
  • Se tuvo una entrevista en una empresa de YC donde la primera ronda fue una revisión de código, y eso llevó a crear una app de código abierto

• Alrededor de 2005, en una pyme pidieron hacer código en una pizarra, pero no se podía usar una computadora

  • Cuando se preguntó por qué usaban pizarra, respondieron que imitaban las mejores prácticas de Google
  • Al final se programó en la pizarra, pero se dijo que se haría de nuevo si proporcionaban una computadora
  • Al final se fue a otro lugar

• La empresa A debería preguntarse por qué no contrata a la IA si la IA puede resolver todas las preguntas de entrevistas técnicas

  • Puede ser necesario que un ingeniero evalúe si una funcionalidad se puede implementar, y en la entrevista se puede pedir al candidato que piense sobre una solicitud de funcionalidad de ejemplo
  • Muchas veces la empresa no entiende con claridad el valor de un ingeniero, por lo que le cuesta juzgar el valor del candidato

• Como técnica de contratación para evitar la IA, se pide a desarrolladores junior que traigan código y lo expliquen

  • Se conversa sobre qué cambiarían, cómo lo cambiarían, si usaron patrones, etc.
  • A los desarrolladores senior se les da código complejo para que lo analicen en tiempo real
  • Está bien usar IA para acortar tareas rutinarias, pero hay que poder pensar críticamente sobre el resultado

• Como entrevistador, en empresas que no son FAANG se usa un proceso de entrevista simple

  • Se pregunta por el currículum del candidato, sus expectativas y habilidades, y se le pide que muestre código que haya escrito
  • Este proceso es rápido y efectivo

• El mercado laboral actual es tan caótico que parece que será difícil conseguir trabajo hasta que la situación choque contra la pared

  • Hay 26 años de experiencia, pero no se es perfecto, y hacer trampa no funciona muy bien

• Usar problemas intermedios/avanzados de Leetcode durante 30-45 minutos en una entrevista solo puede revelar dos tipos de personas

  • Las que abordan el problema desde cero y las que ya conocen la solución
  • Si no se conoce el algoritmo de Kadane, es lo mismo que abordar el problema desde cero
  • No se sabe cuál es el método óptimo de entrevista, pero hay un estilo que personalmente se prefiere
  • Las preguntas de entrevista deberían tener casos de prueba, aumentar gradualmente en complejidad, centrarse en estructuras de datos y dar al candidato la oportunidad de hacer concesiones y tomar decisiones

• El problema no es la IA, sino que las empresas no saben cómo seleccionar adecuadamente a los candidatos

  • Ni siquiera aplican lo básico de la psicometría
  • El mejor proceso de selección es hacer que la nueva persona realmente trabaje durante unas semanas

• En la última entrevista se pidió realizar una tarea usando herramientas, incluida la IA

  • También se pasó por un proceso similar en una entrevista de live coding
  • Usar herramientas para comprobar habilidades y buenas prácticas es la opción más natural