Algoritmo de detección de líneas aplicado a la mejora de los procesos de calibración del microscopio LEXT OLYMPUS.
Line detection algorithm applied to the improvement of LEXT OLYMPUS microscope calibration processes.
Presentación: 20/05/2021
Aprobación: 06/08/2021
Guillermo J. Bergues
Universidad Tecnológica Nacional, Centro de Investigación y Transferencia en Metrología (CEMETRO) – Argentina
gjbergues@gmail.com
Clemar Schürrer
Universidad Tecnológica Nacional, Centro de Investigación y Transferencia en Metrología (CEMETRO) – Argentina
cschurrer@gmail.com
Juan Caselles
Universidad Tecnológica Nacional, Centro de Investigación y Transferencia en Metrología (CEMETRO) – Argentina
caselles_juan@hotmail.com
Nancy Brambilla
Universidad Tecnológica Nacional, Centro de Investigación y Transferencia en Metrología (CEMETRO) – Argentina
nancybrambilla@gmail.com
Resumen
En este trabajo se presenta un método para procesar imágenes para optimizar la calibración de microscopios ópticos Lext Olympus con plantillas. El algoritmo pro-puesto ya funciona en las escalas de los autocolimadores Nikon, que son similares a las presentes en las plantillas de calibración de estos microscopios. El algoritmo fue adaptado para medir estas plantillas y así optimizar la calibración.
Palabras Claves: plantilla de calibración; microscopio; procesamien-to de imágenes; Confocal.
Abstract
This paper presents an image processing method to optimize the calibration of Lext Olympus optical microscopes with templates. The proposed algorithm already works on the scales of Nikon autocollimators, which are similar to those present in the calibration templates of these microscopes. The algorithm was adapted to measure these templates and thus optimize the calibration.
Keywords: calibration slide; microscope; image processing; Confocal.
Introducción
El microscopio confocal se ha considerado más que nada como un instrumento de observación tridimensional. Sus aplicaciones son variadas, particularmente en Biología. Sin embargo, en los últimos años ha comenzado a ser utilizado como instrumento de medida en diferentes áreas de la ingeniería (Caselles J. et al., 2018; Brambilla et al. 2019; De Vicente et al., 2008).
La necesidad de medir con los microscopios proviene del avance de la nanotecnología en los diferentes campos industriales y científicos. De esta manera, los instrumentos que antes se utilizaban para observar ciertos fenómenos, como lo son los microscopios confocales, fueron mutando en su rol y ahora se utilizan como instrumentos de medición (Pfeifer et al., 2001). Para cumplir los requerimientos de medida, el microscopio debe realizar mediciones que sean trazables a los estándares internacionales. De esta manera, el instrumento ofrece confiabilidad en las mediciones y puede determinar con bajas incertidumbres sus errores.
Para llegar a estos estándares internacionales la calibración y trazabilidad de los microscopios confocales al igual que la de otros microscopios de barrido se pueden asegurar mediante varios métodos (De Chiffre et al., 2011; Jensen et al., 2013). Uno de los métodos base (utilizados como referencia inicial en los procesos) es utilizar plantillas especiales de calibración.
Estas plantillas se utilizan de la siguiente manera: en primer lugar, el operador obtiene una imagen de la plantilla. Luego, con el software del equipo obtiene los valores de la misma (medición de la plantilla) y los compara con los valores de referencia obtenidos de los certificados de calibración de la plantilla. Con los valores de los errores que surgen de la comparación procede a ajustar el equipo (generalmente por software). Finalmente, vuelve a capturar una imagen y repite el procedimiento para calcular los nuevos errores. Si estos quedan por debajo de los valores aceptables el equipo queda calibrado.
El procedimiento de medición de la escala de la plantilla mediante el software del microscopio (nombrado con anterioridad) es muy engorroso para el operador. Esto se debe a que el operador debe medir segmento a segmento a través de toda la escala con el objetivo de averiguar con los filtros del software dónde está el centro de cada uno. Además, este método es demandante en cuanto a tiempo y posee los problemas típicos de las mediciones con paralaje. Dada esta problemática, en este trabajo se propone una medición de la plantilla mediante un procesamiento de imágenes que ayuda al operador en este proceso.
Componentes.
1. Microscopio Confocal.
Se utilizó para capturar las imágenes de la plantilla un microscopio Confocal marca LEXT OLYMPUS (ver Fig. 1). Este instrumento utiliza un sistema láser monocromático de baja potencia y alta intensidad para la iluminación (Webb 1996, 1999; Salerni, 2011).
Fig. 1. Confocal Lext Olympus.
El haz del sistema láser pasa a través de un divisor de haz y luego, uno de los rayos se redirige a la muestra a través de la óptica del microscopio (Claxton et al., 2006). El sistema óptico del microscopio confocal utiliza un colimador de orificio delimitante denominado pinhole para eliminar la luz desenfocada o los reflejos de la lente en objetos que son de dimensiones superiores al plano de foco. El pinhole (similar al de las cámaras fotográficas) está localizado frente a un foto-multiplicador que limita el paso de las intensidades de luz de las regiones del objeto que estén fuera de foco.
Una vez que se ilumina la superficie de escaneo, el rayo reflejado viajará por el mismo camino hacia su lugar de origen. Si la iluminación está bien enfocada en la superficie, el haz reflejado irá al detector sin perder intensidad, pero si la superficie está fuera de enfoque, la intensidad será menor. El rayo filtrado llega finalmente al detector que es leído por el software quien procesa la señal, haciendo una reconstrucción 3D de la superficie capa por capa (Cheng et al., 2019).
2. Plantilla de Calibración.
La plantilla de calibración marca Motic (ver Fig. 2) es la típica plantilla que se incluye en los microscopios para calibrar el equipo (microscopio y software). En general poseen varios puntos de diámetro variable más una escala en forma de cruz central, en este caso de 0,01 mm por división en ambos ejes. Esta cruz se puede observar en la Fig. 3.
Fig. 2. Plantilla de calibración marca Motic con 4 puntos de diferentes diámetros y una escala central en forma de cruz.
Para capturar la cruz central de la plantilla se enfocó el microscopio en esa zona y se tomaron imágenes de la escala. Se tomaron 3 imágenes de la cruz en una dirección y otras 3 imágenes a 90º (ver. Fig. 3).
Fig. 3. Imagen capturada de la escala de la Plantilla de calibración marca Motic. Esta escala es la que aparece en el centro de la plantilla.
Método de la calibración.
1. Medición manual de la escala con software Confocal.
En primera instancia, se midió la imagen de la Fig. 3 con el software del microscopio Confocal. Para esto, el operador debe posicionar la regla virtual que posee como herramienta el software en el centro de cada segmento. Este procedimiento, que lo hace de forma manual, incluye medir la distancia entre segmentos denominada “d” como se muestra en la Fig. 4. Se busca el centro de cada segmento para que la medición sea repetible y confiable. Para esto, el operador debe observar cada segmento “s1...sn” y determinar el centro para luego medir con respecto al segmento central.
Esta medición manual posee diversos problemas. El operador debe invertir mucho tiempo en encontrar el centro de cada segmento y, a la vez, no puede definir con exactitud si el centro que decidió es el adecuado. Además, se produce una suma de errores sistemáticos al no medirse de forma simultánea todos los centros de segmento (el operador repite el mismo procedimiento hasta llegar al “sn” como se muestra en la Fig. 4).
Fig. 4. Procedimiento de medición realizado por operador con software del microscopio confocal. Para medir cada distancia “d” el operador debe trabajar con dos segmentos. Se repite el procedimiento hasta llegar al par s0 - sn .
2. Medición digital de la escala de la plantilla.
En esta sección y en la próxima se describe el algoritmo óptimo (Detector Gaussiano), junto con el pre-procesamiento necesario para reducir el efecto viñeteo. Este efecto se refiere a una pérdida de iluminación dependiente de la posición en la salida de un sistema óptico, debido principalmente al bloqueo de una parte del haz incidente en la apertura del sistema. Esto se ve reflejado por un desvanecimiento gradual de la imagen en puntos cercanos a su periferia (Hecht, 2011).
La técnica reportada en Flesia, 2014, y las primeras versiones del algoritmo (Schürrer et al., 2014, Bergues et al., 2014) explican cómo encontrar el centro de cada línea con la transformada Hough para luego promediar las ubicaciones de los centros de línea. Este método tiene desventajas por la alta sensibilidad en las mediciones de baja frecuencia debido a que la matriz de Hough pondera todos los píxeles por igual.
El algoritmo anterior (Bergues et al., 2014) fue mejorado (Bergues et al., 2015) para reducir los efectos a bajas frecuencias. Dado que el algoritmo utiliza estadísticas robustas para ajustar los datos, obteniendo una buena localización incluso con ruido y desenfoque, producto del movimiento de la cámara, se debe aumentar la precisión de ajuste para muestras pequeñas. Para esto se deben corregir los fenómenos ópticos producidos por el viñeteo.
Dado el carácter suave del fondo de la imagen capturada, el filtro Savitzky-Golay es un método ideal para reducir el desplazamiento producido por el viñeteo. Este filtro está diseñado para suavizar imágenes, aumenta la relación señal-ruido sin distorsionar mucho la señal. Esto se logra ajustando subconjuntos sucesivos de puntos de datos adyacentes con un polinomio de segundo grado utilizando el método de mínimos cuadrados lineales (Schafer, 2011). El filtrado es un paso de gran importancia cuando se utilizan métodos de ajuste, ya que el ruido de fondo puede reducir en gran medida la precisión de la medida a nivel sub-píxel.
3.Pseudocódigo del procesamiento de imágenes.
Las secciones transversales de las líneas de intensidad se pueden modelar con una función gaussiana. Para este modelo, la determinación del centro de la línea a nivel de sub-píxel viene dado por un parámetro de la función gaussiana.
Una función gaussiana tiene tres parámetros importantes: el centro “b” (centro de la línea), la amplitud A (altura de la función) y el ancho de la campana “c”. Interesa en este caso el centro de la función “b” de la ecuación:
(1)
Este parámetro se encuentra analizando la matriz de intensidades de la imagen en busca de valores máximos. Alrededor de cada uno de los píxeles de mayor intensidad, se extrae una vecindad lineal, ortogonal a cada posición de línea detectada (ver Fig. 5). El centro de segmento está ubicado en el máximo de la sección transversal ajustada a una función gaussiana.
Finalmente, al obtener todos los centros de la escala a la misma vez, se puede construir una curva cuya pendiente otorgue la distancia promedio entre segmentos de la misma. Este procedimiento se aplica en ambos ejes de la escala (X, Y).
Fig. 5. Pseudocódigo del procesamiento de imágenes aplicado a la escala de la plantilla en ambos ejes (X, Y).
Resultados.
Se comparó la medición realizada por el operador de forma manual utilizando el software del microscopio confocal con la medición que entrega el algoritmo de detección mediante el procesamiento de imágenes explicado en la sección 3.
La medición se realizó sobre todos los segmentos de la escala (se tomaron las distancias entre segmentos colindantes), tanto en la dirección X (Fig. 6) como en la dirección Y de la misma (Fig. 7). En estas curvas se observa que las mediciones son similares en forma. El operaror y el algoritmo siguen un mismo patrón. Sin embargo, para analizar en detalle, se tomó la diferencia entre ambas mediciones segmento a segmento, obteniendo los valores que distinguen con precisión las mediciones (ver figuras 8 y 9).
Se puede observar en los valores de las figuras 8 y 9 que si la distancia entre segmentos se mide lejos del centro (segmento nº11), se agranda el valor de la diferencia. Esto se debe a que el operador tiene que hacer la medición segmento a segmento, mientras que el algoritmo de detección mide simultáneamente todos los segmentos. Por otro lado, el equipo tiene un error de ganancia, del orden de los micrómetros, al cual el operario contribuye debido al método de medición manual.
Dado que la escala tiene una longitud de 1000μm (1mm), el error porcentual máximo ronda el 0,5% a fondo de escala (0,005 mm). Si bien son valores pequeños en relación al fondo de escala, también lo es la resolución del instrumento, por lo cual, es necesario disminuir los errores sistemáticos para que el procedimiento sea adecuado para este tipo de mediciones.
Fig. 6. Conjunto de datos tomados del eje X de la escala donde se muestra la distancia entre segmentos (μm) definidos tanto por el algoritmo (-o-) de detección como por el operador mediante el software Confocal (-*-).
Fig. 7. Conjunto de datos tomados del eje Y de la escala donde se muestra la distancia entre segmentos (μm) definidos tanto por el algoritmo de detección (-o-) como por el operador mediante el software Confocal (-*-).
Fig. 8. Errores obtenidos de la diferencia de ambas mediciones (operador vs algoritmo de detección) para el eje X.
Fig. 9. Residuos obtenidos por la diferencia de ambas mediciones (operador vs algoritmo de detección) para el eje Y.
Conclusiones.
Se creó una versión del algoritmo (ver Fig. 5) explicado en (Bergues et al., 2015) que permite reemplazar al operador en la medición de la plantilla de calibración del microscopio confocal (ver Fig. 3). El algoritmo realiza cortes unidimensionales de la escala para luego ajustar una función gaussiana de la muestra obtenida. Se trabajan con todos los segmentos en paralelo, mientras que el operador humano debe hacer el procedimiento segmento a segmento.
Este algoritmo reduce tiempos de procesamiento notablemente. Mientras que el operador, de forma manual, realiza la operación en 3 horas el procesamiento de imágenes lo hace en 5 segundos. Además, el procedimiento mejora la determinación de la repetibilidad del microscopio confocal, mejora la determinación de promedios y errores promedios y mejora la determinación de las incertidumbres del instrumento.
Por otro lado, este método agrega confiabilidad a la medida ya que el operador, con el software del microscopio, no puede distinguir si tomó el centro adecuado en su medición. Esta última ventaja posiciona al nuevo método como principal herramienta en la calibración de microscopios confocales.
Como próximos trabajos, es necesario estudiar otros microscopios. De tal manera de tener un conjunto de imágenes similares en forma, pero diferentes en el modelo de captura. Se podrá estudiar el comportamiento del algoritmo en diferentes sistemas para analizar su robustez.
Referencias
Caselles, J. y Mas, C. R. (2018). Microscopio confocal de reflexión de barrido mediante láser, LEXT (Olympus): una herramienta de medición y verificación de componentes claves de los equipos de medición y ensayo. Congreso Argentino de Microscopía SAMIC.
Brambilla, N., Brusa, D., Caselles, J., Mas, C. y Schurrer, C. (2019). Intercomparación en Mediciones Superficiales. Revista Tecnología y Ciencia; 35, 1-17.
Vicente y Oliva, J., Molpeceres Álvarez, C., Guarneiros, O. y García-Ballesteros Ramírez, J. (2008). Calibración de Microscopios Confocales. Anales de Ingeniería Mecánica.
Pfeifer, T.; Freudenberg, R., Dussler, G. y Bröcher, B. (2001). Quality control and process observation for the micro assembly process. Measurement. 30. 1-18.
De Chiffre, L., Carli, L. y Eriksen, R.S. (2011). Multiple height calibration artefact for 3D microscopy. CIRP Ann. Manuf. Technol. 60, 535–538.
Jensen, K.E., Weitz, D.A. y Spaepen, F. (2013). Note: A three-dimensional calibration device for the confocal microscope. Rev. Sci. Instrum, 84, 016108.
Walker, D. (2012). Notes on the potential vibration problems observed with two mirrorless digital cameras if used for photomicroscopy (Sony NEX-5N and Panasonic GF2), and the value of an electronic first curtain shutter option. http://www.microscopy-uk.org.uk/mag/artnov12/dw-SonyNEX5N.html
Webb, R.H. (1996). Confocal optical microscopy. Rep Prog Phys, 59(3), pp. 427-471.
Webb, R.H. (1999). Theoretical Basis of Confocal Microscopy. Meth. Enzymol. 307, pp. 3-20
Salerni, G. (2011). Uso de la microscopía confocal de reflectancia en dermatología. Dermatol. Argent., 17(3), pp. 230-235.
Claxton, N.S., Fellers, T.J. y Davidson, M.W. (2006). Laser scanning confocal microscopy. In Encyclopedia of Medical Devices and Instrumentation, 2nd ed.; Webster, J.G.; John Wiley & Sons, Inc., pp. 1-37.
Cheng, C., Wang, J., Leach, R.K., Lu, W., Liu, X. y Jiang, X. (2019). Corrected parabolic fitting for height extraction in confocal microscopy. Opt Express, 27(3), pp. 3682-3697.
Flesia, A. G., Ames, G., Bergues, G., Canali, L. y Schurrer, C. (2014). Sub- pixel straight lines detection for measuring through machine vision. Instrumentation and Measurement Technology Conference (I2MTC) Proceedings, 2014 IEEE International, pp. 402–406.
Schurrer, C., Flesia, A. G., Bergues, G., Ames, G. y Canali, L. (2014). Interfaz visual para un autocolimador nikon 6d mediante procesamiento de imágenes con precisión sub-pix́el: un caso de estudio. Revista Iberoamericana de Automática e Informática Industrial - RIAI, vol. 11, no. 3, pp. 327–336.
Bergues, G., Ames, G., Canali, L., Schurrer, C. y Flesia, A. G. (2014). External visual interface for a nikon 6d autocollimator. Instrumentation and Measurement Technology Conference (I2MTC) Proceedings, 2014 IEEE International pp. 35–39.
Bergues, G. J., Canali, L., Schurrer, C., y Flesia, A. (2015). Electronic interface with vignetting effect reduction for a Nikon 6b/6d autocollimator. Instrumentation and Measurement, IEEE Transactions on, no. 99.
Hecht, E. (2001). Optics (4th Edition), 4th ed. Addison Wesley.
Schafer, R. W. (2011). What is a savitzky-golay filter? [lecture notes]. Signal Processing, IEEE Transactions on, vol. 28, no. 4, pp. 111–117.