segmento_cualquier cosa

  • Descripción :

Descargar SA-1B

Segment Anything 1 Billion (SA-1B) es un conjunto de datos diseñado para entrenar modelos de segmentación de objetos de uso general a partir de imágenes de mundo abierto. El conjunto de datos se presentó en el artículo "Segment Anything" .

El conjunto de datos SA-1B consta de 11 millones de imágenes diversas, de alta resolución, con licencia y que protegen la privacidad y 1,1 mil millones de anotaciones de máscara. Las máscaras se proporcionan en el formato de codificación de longitud de ejecución (RLE) COCO y no tienen clases.

La licencia es personalizada. Por favor, lea los términos y condiciones completos en https://ai.facebook.com/datasets/segment-anything-downloads

Todas las funciones están en el conjunto de datos original excepto image.content (contenido de la imagen).

Puedes decodificar máscaras de segmentación con:

import tensorflow_datasets as tfds

pycocotools = tfds.core.lazy_imports.pycocotools

ds = tfds.load('segment_anything', split='train')
for example in tfds.as_numpy(ds):
  segmentation = example['annotations']['segmentation']
  for counts, size in zip(segmentation['counts'], segmentation['size']):
    encoded_mask = {'size': size, 'counts': counts}
    mask = pycocotools.decode(encoded_mask)  # np.array(dtype=uint8) mask
    ...
Dividir Ejemplos
'train' 11.185.362
  • Estructura de características : 
FeaturesDict({
    'annotations': Sequence({
        'area': Scalar(shape=(), dtype=uint64, description=The area in pixels of the mask.),
        'bbox': BBoxFeature(shape=(4,), dtype=float32, description=The box around the mask, in TFDS format.),
        'crop_box': BBoxFeature(shape=(4,), dtype=float32, description=The crop of the image used to generate the mask, in TFDS format.),
        'id': Scalar(shape=(), dtype=uint64, description=Identifier for the annotation.),
        'point_coords': Tensor(shape=(1, 2), dtype=float64, description=The point coordinates input to the model to generate the mask.),
        'predicted_iou': Scalar(shape=(), dtype=float64, description=The model's own prediction of the mask's quality.),
        'segmentation': FeaturesDict({
            'counts': string,
            'size': Tensor(shape=(2,), dtype=uint64),
        }),
        'stability_score': Scalar(shape=(), dtype=float64, description=A measure of the mask's quality.),
    }),
    'image': FeaturesDict({
        'content': Image(shape=(None, None, 3), dtype=uint8, description=Content of the image.),
        'file_name': string,
        'height': uint64,
        'image_id': uint64,
        'width': uint64,
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
anotaciones Secuencia
anotaciones/área Escalar uint64 El área en píxeles de la máscara.
anotaciones/bbox Característica BBox (4,) flotador32 El cuadro alrededor de la máscara, en formato TFDS.
anotaciones/crop_box Característica BBox (4,) flotador32 El recorte de la imagen utilizada para generar la máscara, en formato TFDS.
anotaciones/identificación Escalar uint64 Identificador de la anotación.
anotaciones/coords_puntos Tensor (1, 2) flotador64 El punto coordina la entrada al modelo para generar la máscara.
anotaciones/predicted_iou Escalar flotador64 La propia predicción del modelo sobre la calidad de la máscara.
anotaciones/segmentación FuncionesDict Máscara de segmentación codificada en formato COCO RLE (dictado con size de claves y counts ).
anotaciones/segmentación/recuentos Tensor cadena
anotaciones/segmentación/tamaño Tensor (2,) uint64
anotaciones/puntuación_estabilidad Escalar flotador64 Una medida de la calidad de la máscara.
imagen FuncionesDict
imagen/contenido Imagen (Ninguno, Ninguno, 3) uint8 Contenido de la imagen.
imagen/nombre_archivo Tensor cadena
imagen/altura Tensor uint64
imagen/id_imagen Tensor uint64
imagen/ancho Tensor uint64
  • Cita : 
@misc{kirillov2023segment,
  title={Segment Anything},
  author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
  year={2023},
  eprint={2304.02643},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}