ai2dcaption

  • Description :

Cet ensemble de données est principalement basé sur l'ensemble de données AI2D (voir ici ).

Voir la section 4.1 de notre article pour le processus d'annotation de l'ensemble de données AI2D-Caption.

Diviser Exemples
'auditor_llm_training_examples' 30
'gpt4v' 4 903
'llava_15' 4 902
'planner_llm_training_examples' 30
'test' 75
  • Structure des fonctionnalités : 
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • Documentation des fonctionnalités :
Fonctionnalité Classe Forme Type D Description
FonctionnalitésDict
légende Texte chaîne
entités Séquence
entités/limites Fonctionnalité BBox (4,) flotteur32
entités/chat Étiquette de classe int64
entités/de Texte chaîne
entités/identifiant Texte chaîne
entités/étiquette Texte chaîne
entités/à Texte chaîne
entités/type Étiquette de classe int64
image Image (Aucun, Aucun, 3) uint8 L'image du diagramme.
nom_fichier_image Texte chaîne Nom du fichier image. par exemple "1337.png"
mise en page Étiquette de classe int64
relations Séquence (Texte) (Aucun,) chaîne
sujet Étiquette de classe int64

Visualisation

  • Citation : 
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}