segment_qualsiasi cosa

  • Descrizione :

Scarica SA-1B

Segment Anything 1 Billion (SA-1B) è un set di dati progettato per l'addestramento di modelli di segmentazione di oggetti generici da immagini open world. Il set di dati è stato introdotto nel documento "Segment Anything" .

Il set di dati SA-1B è costituito da 11 milioni di immagini diverse, ad alta risoluzione, con licenza e che proteggono la privacy e da 1,1 miliardi di annotazioni sulle maschere. Le maschere vengono fornite nel formato COCO run-length encoding (RLE) e non hanno classi.

La licenza è personalizzata. Per favore, leggi i termini e le condizioni completi su https://ai.facebook.com/datasets/segment-anything-downloads

Tutte le funzionalità sono nel set di dati originale tranne image.content (contenuto dell'immagine).

Puoi decodificare le maschere di segmentazione con:

import tensorflow_datasets as tfds

pycocotools = tfds.core.lazy_imports.pycocotools

ds = tfds.load('segment_anything', split='train')
for example in tfds.as_numpy(ds):
  segmentation = example['annotations']['segmentation']
  for counts, size in zip(segmentation['counts'], segmentation['size']):
    encoded_mask = {'size': size, 'counts': counts}
    mask = pycocotools.decode(encoded_mask)  # np.array(dtype=uint8) mask
    ...
Diviso Esempi
'train' 11.185.362
  • Struttura delle caratteristiche : 
FeaturesDict({
    'annotations': Sequence({
        'area': Scalar(shape=(), dtype=uint64, description=The area in pixels of the mask.),
        'bbox': BBoxFeature(shape=(4,), dtype=float32, description=The box around the mask, in TFDS format.),
        'crop_box': BBoxFeature(shape=(4,), dtype=float32, description=The crop of the image used to generate the mask, in TFDS format.),
        'id': Scalar(shape=(), dtype=uint64, description=Identifier for the annotation.),
        'point_coords': Tensor(shape=(1, 2), dtype=float64, description=The point coordinates input to the model to generate the mask.),
        'predicted_iou': Scalar(shape=(), dtype=float64, description=The model's own prediction of the mask's quality.),
        'segmentation': FeaturesDict({
            'counts': string,
            'size': Tensor(shape=(2,), dtype=uint64),
        }),
        'stability_score': Scalar(shape=(), dtype=float64, description=A measure of the mask's quality.),
    }),
    'image': FeaturesDict({
        'content': Image(shape=(None, None, 3), dtype=uint8, description=Content of the image.),
        'file_name': string,
        'height': uint64,
        'image_id': uint64,
        'width': uint64,
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
annotazioni Sequenza
annotazioni/area Scalare uint64 L'area in pixel della maschera.
annotazioni/bbox Funzione BBox (4,) float32 Il riquadro attorno alla maschera, in formato TFDS.
annotazioni/crop_box Funzione BBox (4,) float32 Il ritaglio dell'immagine utilizzata per generare la maschera, in formato TFDS.
annotazioni/id Scalare uint64 Identificatore per l'annotazione.
annotazioni/point_coords Tensore (1, 2) float64 Il punto coordina l'input al modello per generare la maschera.
annotazioni/predicted_iou Scalare float64 Previsione del modello della qualità della maschera.
annotazioni/segmentazione CaratteristicheDict Maschera di segmentazione codificata in formato COCO RLE (dict con size e counts delle chiavi).
annotazioni/segmentazione/conteggi Tensore corda
annotazioni/segmentazione/dimensione Tensore (2,) uint64
annotazioni/punteggio_stabilità Scalare float64 Una misura della qualità della maschera.
immagine CaratteristicheDict
immagine/contenuto Immagine (Nessuno, Nessuno, 3) uint8 Contenuto dell'immagine.
immagine/nome_file Tensore corda
immagine/altezza Tensore uint64
immagine/id_immagine Tensore uint64
immagine/larghezza Tensore uint64
  • Citazione : 
@misc{kirillov2023segment,
  title={Segment Anything},
  author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
  year={2023},
  eprint={2304.02643},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}