ai2dcaption

  • Descrizione :

Questo set di dati si basa principalmente sul set di dati AI2D (vedi qui ).

Vedere la sezione 4.1 del nostro documento per il processo di annotazione del set di dati AI2D-Caption.

Diviso Esempi
'auditor_llm_training_examples' 30
'gpt4v' 4.903
'llava_15' 4.902
'planner_llm_training_examples' 30
'test' 75
  • Struttura delle caratteristiche : 
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
didascalia Testo corda
entità Sequenza
entità/limiti Funzione BBox (4,) float32
enti/cat ClassLabel int64
entità/da Testo corda
entità/id Testo corda
entità/etichetta Testo corda
entità/a Testo corda
entità/tipo ClassLabel int64
immagine Immagine (Nessuno, Nessuno, 3) uint8 L'immagine del diagramma.
nome_file_immagine Testo corda Nome file immagine. ad esempio "1337.png"
disposizione ClassLabel int64
relazioni Sequenza(Testo) (Nessuno,) corda
argomento ClassLabel int64

Visualizzazione

  • Citazione : 
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}