- توضیحات :
سه گانه (تصویر، زمینه، دستورالعمل) به صورت دستی توسط انسان گرفته شده و نوشته شده است، در حالی که اطمینان حاصل می شود که مطلوبیت دستورالعمل فقط با نگاه کردن به تصویر (مجموعه اعتبارسنجی) قابل تعیین است.
صفحه اصلی : https://asimov-benchmark.github.io/
نسخه ها :
-
0.1.0(پیش فرض): انتشار اولیه.
-
اندازه دانلود :
Unknown sizeحجم مجموعه داده :
240.71 MiBذخیره خودکار ( مستندات ): فقط زمانی که
shuffle_files=False(val)تقسیمات :
| تقسیم کنید | نمونه ها |
|---|---|
'val' | 59 |
- ساختار ویژگی :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | توضیحات |
|---|---|---|---|---|
| FeaturesDict | ||||
| تصویر | تصویر | (هیچ، هیچ، 3) | uint8 | |
| دستورالعمل ها | دنباله | |||
| دستورالعمل/زمینه | متن | رشته | ||
| دستورالعمل/دستورالعمل | متن | رشته | ||
| دستورالعمل/اعلان_با_قانون | متن | رشته | ||
| دستورالعمل/تغییر_با_زنجیره_فکر_قانون_اساسی | متن | رشته | ||
| دستورالعملها/تغییر_با_قانون_زنجیره_افکار_antijailbreak | متن | رشته | ||
| دستورالعملها/اعلان_با_زنجیره_فکر_قانون_اساسی_ضد جیلبریک_مخالف | متن | رشته | ||
| دستورالعمل/اعلان_با_قطعات_زنجیره_افکار_antijailbreak_adversary_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعملها/تغییر_با_قطعات_زنجیره_افکار_antijailbreak_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_با_قطعات_زنجیره_فکر_قانون_سازمانی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/اعلان_با_قسمت_های_قانونی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_بدون_قانون | متن | رشته | ||
| دستورالعمل/اعلان_بدون_قطعات_بخشی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/پاسخ_پاسخ_پاسخ | تانسور | بوول | ||
| اصلی_تصویر | تصویر | (هیچ، هیچ، 3) | uint8 |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- توضیحات :
سه گانه (تصویر، زمینه، دستورالعمل) به صورت دستی توسط انسان گرفته شده و نوشته شده است، در حالی که اطمینان حاصل می شود که مطلوبیت دستورالعمل فقط با نگاه کردن به تصویر (مجموعه اعتبارسنجی) قابل تعیین است.
صفحه اصلی : https://asimov-benchmark.github.io/
نسخه ها :
-
0.1.0(پیش فرض): انتشار اولیه.
-
اندازه دانلود :
Unknown sizeحجم مجموعه داده :
240.71 MiBذخیره خودکار ( مستندات ): فقط زمانی که
shuffle_files=False(val)تقسیمات :
| تقسیم کنید | نمونه ها |
|---|---|
'val' | 59 |
- ساختار ویژگی :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | توضیحات |
|---|---|---|---|---|
| FeaturesDict | ||||
| تصویر | تصویر | (هیچ، هیچ، 3) | uint8 | |
| دستورالعمل ها | دنباله | |||
| دستورالعمل/زمینه | متن | رشته | ||
| دستورالعمل/دستورالعمل | متن | رشته | ||
| دستورالعمل/اعلان_با_قانون | متن | رشته | ||
| دستورالعمل/تغییر_با_زنجیره_فکر_قانون_اساسی | متن | رشته | ||
| دستورالعملها/تغییر_با_قانون_زنجیره_افکار_antijailbreak | متن | رشته | ||
| دستورالعملها/اعلان_با_زنجیره_فکر_قانون_اساسی_ضد جیلبریک_مخالف | متن | رشته | ||
| دستورالعمل/اعلان_با_قطعات_زنجیره_افکار_antijailbreak_adversary_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعملها/تغییر_با_قطعات_زنجیره_افکار_antijailbreak_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_با_قطعات_زنجیره_فکر_قانون_سازمانی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/اعلان_با_قسمت_های_قانونی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_بدون_قانون | متن | رشته | ||
| دستورالعمل/اعلان_بدون_قطعات_بخشی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/پاسخ_پاسخ_پاسخ | تانسور | بوول | ||
| اصلی_تصویر | تصویر | (هیچ، هیچ، 3) | uint8 |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- توضیحات :
سه گانه (تصویر، زمینه، دستورالعمل) به صورت دستی توسط انسان گرفته شده و نوشته شده است، در حالی که اطمینان حاصل می شود که مطلوبیت دستورالعمل فقط با نگاه کردن به تصویر (مجموعه اعتبارسنجی) قابل تعیین است.
صفحه اصلی : https://asimov-benchmark.github.io/
نسخه ها :
-
0.1.0(پیش فرض): انتشار اولیه.
-
اندازه دانلود :
Unknown sizeحجم مجموعه داده :
240.71 MiBذخیره خودکار ( مستندات ): فقط زمانی که
shuffle_files=False(val)تقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'val' | 59 |
- ساختار ویژگی :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | توضیحات |
|---|---|---|---|---|
| FeaturesDict | ||||
| تصویر | تصویر | (هیچ، هیچ، 3) | uint8 | |
| دستورالعمل ها | دنباله | |||
| دستورالعمل/زمینه | متن | رشته | ||
| دستورالعمل/دستورالعمل | متن | رشته | ||
| دستورالعمل/اعلان_با_قانون | متن | رشته | ||
| دستورالعمل/تغییر_با_زنجیره_فکر_قانون_اساسی | متن | رشته | ||
| دستورالعملها/تغییر_با_قانون_زنجیره_افکار_antijailbreak | متن | رشته | ||
| دستورالعملها/اعلان_با_زنجیره_فکر_قانون_اساسی_ضد جیلبریک_مخالف | متن | رشته | ||
| دستورالعمل/اعلان_با_قطعات_زنجیره_افکار_antijailbreak_adversary_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعملها/تغییر_با_قطعات_زنجیره_افکار_antijailbreak_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_با_قطعات_زنجیره_فکر_قانون_سازمانی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/اعلان_با_قسمت_های_قانونی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_بدون_قانون | متن | رشته | ||
| دستورالعمل/اعلان_بدون_قطعات_بخشی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/پاسخ_پاسخ_پاسخ | تانسور | بوول | ||
| اصلی_تصویر | تصویر | (هیچ، هیچ، 3) | uint8 |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- توضیحات :
سه گانه (تصویر، زمینه، دستورالعمل) به صورت دستی توسط انسان گرفته شده و نوشته شده است، در حالی که اطمینان حاصل می شود که مطلوبیت دستورالعمل فقط با نگاه کردن به تصویر (مجموعه اعتبارسنجی) قابل تعیین است.
صفحه اصلی : https://asimov-benchmark.github.io/
نسخه ها :
-
0.1.0(پیش فرض): انتشار اولیه.
-
اندازه دانلود :
Unknown sizeحجم مجموعه داده :
240.71 MiBذخیره خودکار ( مستندات ): فقط زمانی که
shuffle_files=False(val)تقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'val' | 59 |
- ساختار ویژگی :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | توضیحات |
|---|---|---|---|---|
| FeaturesDict | ||||
| تصویر | تصویر | (هیچ، هیچ، 3) | uint8 | |
| دستورالعمل ها | دنباله | |||
| دستورالعمل/زمینه | متن | رشته | ||
| دستورالعمل/دستورالعمل | متن | رشته | ||
| دستورالعمل/اعلان_با_قانون | متن | رشته | ||
| دستورالعمل/تغییر_با_زنجیره_فکر_قانون_اساسی | متن | رشته | ||
| دستورالعملها/تغییر_با_قانون_زنجیره_افکار_antijailbreak | متن | رشته | ||
| دستورالعملها/اعلان_با_زنجیره_فکر_قانون_اساسی_ضد جیلبریک_مخالف | متن | رشته | ||
| دستورالعمل/اعلان_با_قطعات_زنجیره_افکار_antijailbreak_adversary_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعملها/تغییر_با_قطعات_زنجیره_افکار_antijailbreak_parts | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_با_قطعات_زنجیره_فکر_قانون_سازمانی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/اعلان_با_قسمت_های_قانونی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/تغییر_بدون_قانون | متن | رشته | ||
| دستورالعمل/اعلان_بدون_قطعات_بخشی | دنباله (متن) | (هیچ،) | رشته | |
| دستورالعمل/پاسخ_پاسخ_پاسخ | تانسور | بوول | ||
| اصلی_تصویر | تصویر | (هیچ، هیچ، 3) | uint8 |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}