Есть документ csv содержащий более несколько миллионов строк 1 0. Как я вижу процесс
 Скачать 32.5 Kb.
|
|
Есть документ csv содержащий более несколько миллионов строк 1 000 000 - 40 000 000, необходимо, чтобы макрос/скрипт, преобразовал его в xlsx таким образом, чтобы в файле xlsx создалось столько нужных листов/страниц, чтобы весь контент из файл csv поместился в данный файл xlsx или в несколько файлов xlsx. Как я вижу процесс: 1.Нажимаем кнопку загрузить в бд, При этом вы можете использовать любую бд , которую можно установить на ком с виндовс 10. После этого весь контент грузится в бд с сохранением всей структуры таблицы, которая есть в файл csv из которого идет импорт, имеется виду количество колонок, их название, строки. При этом нужно иметь ввиду, что контент может первоначально состоять из 40 000 000 строк и до 30 колонок Возможность дополнительного импорта к уже имеющимся данным из другого csv , при дополнительном импорте первая строка не импортируется. Скрипт смотрит если в файле уже есть какой то контент, то при дополнительном импорте он убирает из загрузки первую строку файла из которого идет дополнительный импорт в бд Перед загрузкой основного контента указываем кодировку или это Windows 1251 или это UTF-8? Нужно продумать момент, когда первоначально загружен контент из кодировки Windows 1251, а следующая подгрузка уже идет из кодировки UTF-8, как в таком случае сконектить контент, чтобы он в итоге корректно отображался в БД, получается нужно на моменте дополнительной загрузки контента из другой кодировки нежели не в той, в которой находится в БД контент преобразовать в нужную кодировку, чтобы они были идентичны. 2.Далее будет два вариант выгрузки, которые активируются с помощью радиобатонна Вариант 1 выгрузить в несколько xlsx и кнопка выгрузить. При нажатии на кнопку "Выгрузить" будут созданы в зависимости от строк в файле csv из которого шел первоначальный импорт в бд, столько xlsx файлов в которых будет кратно 1 000 000 строк. Т.е.е если в бд будет импортировано 3 000 000 строк и если нажать выгрузить "в несколько xlsx", то будут созданы три файла xlsx по 1 000 000 строк каждый. Вариант 2 выгрузить с заполнением листов в xlsx файла и тут будет выбор с помощью радиобаттона Выбрать «максимальны» Выбрать «указать количество листов для одного документа» и поле в котором можно вести количество листов на которые распределить контент. Вариант «максимальный» означает, что при экспорте можно заполнять все 30 листов xlsx файла по 1 000 000 строк, в случае если контента будет несколько, то необходимо создавать второй документ xlsx в который будет загружено то, что не убралось в первый файл xlsx Вариант«указать количество листов для одного документа» и поле в котором можно вести количество листов на которые распределить контент. Если указать количество листов, например, 2, то при экспорте контента с числом строк 6 000 000 строк, будут созданы три xlsx файла в которых будут заполнены два листа по 1 000 000 строк |