Официальные списки совместимости доступны на странице
VMware Infrastructure 3 Documentation.

• Systems Compatibility Guide for ESX Server 3.5 and ESX Server 3i (PDF)
• I/O Compatibility Guide for ESX Server 3.5 and ESX Server 3i (PDF)
• Storage/SAN Compatibility Guide for ESX Server 3.5 and ESX Server 3i (PDF)
• Backup Software Compatibility Guide for ESX Server 3.5 and ESX Server 3i (PDF)

Но удобнее всего, наверное, будет онлайн ресурс - online Hardware Compatibility Guide.

Так же, существует отдельная станица, под названием Compatibility Guides.
На ней есть список т.н. "Community-Supported Hardware and Software". Это то железо, работа с которым подтверждена сообществом, но официально не поддерживается.

• Примерно тому же самому посвящен сайт Ultimate ESX Whitebox - посвященный списку дешевого железа, на котором заведется ESX.
• Еще одно место - Motherboards and unsupported servers that work with ESX 3.5 and / or ESXi 3.5 Installable.
• Так же, есть список совместимости с гостевыми ОС - Supported Guest Operating Systems.
• Тема на форуме VMware - Low Cost ESX 3.5 System - Suggestions?.
• Дешевая железка под ESXi, для стендов.
  

Наконец, ESX можно запустить в ВМ под Workstation. Нужна железка с процессорами, поддерживающими Intel-VT и гайд - ESX3.5 on Workstation 6.5.

Можно попробовать поиграться с добавлением в ESX\ESXi сторонних драйверов - само собой без гарантии успеха - Customizing your ESXi install with oem.tgz.