Creating a Python csv file

Question

You need to create a csv file with Header.

When adding a new product, if it has a header in the dictionary, which is not in csv, then you need to add this header to csv, and all products that were left before adding leave this place empty.

How can this be implemented? Perhaps you can first store it in a temporary structure, and only in the last step, save it to csv.

Before that, I only created csv with a fixed number of columns, but never worked with dynamic ones.

Example:

{'NAME': 'AquaDoctor C-60 50 кг. в гранулах', 'PRICE': '17\xa0919,00', 'STOCK_STATUS': False, 'SKU': '1551', 'CATEGORY_ID': 28, 'IMAGE': 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/c/6/c60_5_1.jpg', 'IMAGES': [], 'MANUFACTURER': 'AquaDoctor', 'COUNTRY_OF_ORIGIN': 'Китай', 'DESCRIPTION': 'Ударный, быстрорастворимый препарат содержащий 60% активного хлора. Поставляется в гранулированном виде. Предназначается для первичной (шоковой) обработки воды в бассейне. Уничтожает вирусы, бактерии, грибок, плесень.', 'DESCRIPTION_FEATURE': ''}, {'CATEGORY_ID': 11, 'IMAGE': 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchanger_1_2.jpg', 'IMAGES': ['https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_combine-2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchange_5_2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/e/l/elec_g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/h/e/heat-exchanger-horizontal_s-2.png', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/f/i/file_42_2.jpg'], 'Мощность': '30 кВт', 'Дополнительно': '<ul class="bullet"><li>Корпус из нержавеющей стали BS 316L (EN 1.4432)</li><li>Трубки из титана</li><li>Максимальное рабочее давление до 4 Бар</li><li>Температурные ограничения первого контура теплообменника G2: 90 ℃</li><li>Полиамидная решетка</li><li>Камера с теплоизоляцией</li><li>Фитинги из латуни и специального полимерного состава</li><li>Высокая площадь теплопередачи</li><li>Возможность подключения аналоговых и цифровых комплектов контроля</li></ul>', 'Комплектация': '<ul class="bullet"><li>Теплообменник Elecro G2 HE 30T</li><li>Латунные фитинги для первичного контура</li><li>Титановый карман для термостата</li><li>Обратный клапан</li><li>Фитинги соединения, заглушка, прокладка</li><li>Крепежная скоба</li><li>Инструкция</li></ul>', 'Вес, кг': '2', 'MANUFACTURER': 'Elecro', 'Гарантия': '12 месяцев', 'COUNTRY_OF_ORIGIN': 'Великобритания', 'DESCRIPTION': 'Теплообменник Elecro G2 для обогрева бассейнов. Имеет уникальный дизайн и надежную конструкцию из нержавеющей стали, титана, полимера и латуни. Обеспечивает непревзойденно большую площадь теплообмена с минимальными теплопотерями. Оптимальное решение для применения с газовыми или топливными бойлерами, солнечными панелями и другими тепловыми агрегатами.', 'DESCRIPTION_FEATURE': '<li>Мощность: 30 кВт</li><li>Трубки: титан</li><li>Корпус: нерж. сталь 316</li><li>Первичный контур: 1"</li><li>Вторичный контур: 1.5"</li>', 'NAME': 'Теплообменник Elecro G2 HE 30 кВт (titanium)', 'PRICE': '23\xa0381,00', 'SKU': '6973'}

As you can see, they have a different number of fields.

Example csv, how it should look like:

 CATEGORY_ID;NAME; PRICE; SKU; DESCRIPTION; MANUFACTURER; 'Мощность'; ..; 100;AquaDoctor C-60;1709,19;1551;Ударный, быстро..;'AquaDoctor';'30 кВт' .. 2;Теплообменник El;23081,00;6973;Теплообменник ..;'Elecro'; ;

; The first line is the title of the headings, if a property appears which is not in the heading, it is added there.

Missing properties of products must leave empty space.

Of course, if they give you an answer in which there will be three dots instead of a specific code, will this be your answer?
It seems that you are not interested in receiving a response.
I advise you to read: How to most effectively ask a question about Pandas / Numpy / SciPy / SciKit Learn / SQL / etc.?

MaxU MaxU 52.3k 6 18 51 · Accepted Answer · 2018-10-31T07:40:39

Solution using the Pandas module:

 import pandas as pd # pip install pandas data = [{'NAME': 'AquaDoctor C-60 50 кг. в гранулах', 'PRICE': '17\xa0919,00', 'STOCK_STATUS': False, 'SKU': '1551', 'CATEGORY_ID': 28, 'IMAGE': 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/c/6/c60_5_1.jpg', 'IMAGES': [], 'MANUFACTURER': 'AquaDoctor', 'COUNTRY_OF_ORIGIN': 'Китай', 'DESCRIPTION': 'Ударный, быстрорастворимый препарат содержащий 60% активного хлора. Поставляется в гранулированном виде. Предназначается для первичной (шоковой) обработки воды в бассейне. Уничтожает вирусы, бактерии, грибок, плесень.', 'DESCRIPTION_FEATURE': ''}, {'CATEGORY_ID': 11, 'IMAGE': 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchanger_1_2.jpg', 'IMAGES': ['https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_combine-2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchange_5_2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/e/l/elec_g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/h/e/heat-exchanger-horizontal_s-2.png', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/f/i/file_42_2.jpg'], 'Мощность': '30 кВт', 'Дополнительно': '<ul class="bullet"><li>Корпус из нержавеющей стали BS 316L (EN 1.4432)</li><li>Трубки из титана</li><li>Максимальное рабочее давление до 4 Бар</li><li>Температурные ограничения первого контура теплообменника G2: 90 ?</li><li>Полиамидная решетка</li><li>Камера с теплоизоляцией</li><li>Фитинги из латуни и специального полимерного состава</li><li>Высокая площадь теплопередачи</li><li>Возможность подключения аналоговых и цифровых комплектов контроля</li></ul>', 'Комплектация': '<ul class="bullet"><li>Теплообменник Elecro G2 HE 30T</li><li>Латунные фитинги для первичного контура</li><li>Титановый карман для термостата</li><li>Обратный клапан</li><li>Фитинги соединения, заглушка, прокладка</li><li>Крепежная скоба</li><li>Инструкция</li></ul>', 'Вес, кг': '2', 'MANUFACTURER': 'Elecro', 'Гарантия': '12 месяцев', 'COUNTRY_OF_ORIGIN': 'Великобритания', 'DESCRIPTION': 'Теплообменник Elecro G2 для обогрева бассейнов. Имеет уникальный дизайн и надежную конструкцию из нержавеющей стали, титана, полимера и латуни. Обеспечивает непревзойденно большую площадь теплообмена с минимальными теплопотерями. Оптимальное решение для применения с газовыми или топливными бойлерами, солнечными панелями и другими тепловыми агрегатами.', 'DESCRIPTION_FEATURE': '<li>Мощность: 30 кВт</li><li>Трубки: титан</li><li>Корпус: нерж. сталь 316</li><li>Первичный контур: 1"</li><li>Вторичный контур: 1.5"</li>', 'NAME': 'Теплообменник Elecro G2 HE 30 кВт (titanium)', 'PRICE': '23\xa0381,00', 'SKU': '6973'}] pd.DataFrame(data).to_csv(r'd:/temp/result.csv', index=False)

result:

 CATEGORY_ID,COUNTRY_OF_ORIGIN,DESCRIPTION,DESCRIPTION_FEATURE,IMAGE,IMAGES,MANUFACTURER,NAME,PRICE,SKU,STOCK_STATUS,"Вес, кг",Гарантия,Дополнительно,Комплектация,Мощность 28,Китай,"Ударный, быстрорастворимый препарат содержащий 60% активного хлора. Поставляется в гранулированном виде. Предназначается для первичной (шоковой) обработки воды в бассейне. Уничтожает вирусы, бактерии, грибок, плесень.",,https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/c/6/c60_5_1.jpg,[],AquaDoctor,AquaDoctor C-60 50 кг. в гранулах,"17 919,00",1551,False,,,,, 11,Великобритания,"Теплообменник Elecro G2 для обогрева бассейнов. Имеет уникальный дизайн и надежную конструкцию из нержавеющей стали, титана, полимера и латуни. Обеспечивает непревзойденно большую площадь теплообмена с минимальными теплопотерями. Оптимальное решение для применения с газовыми или топливными бойлерами, солнечными панелями и другими тепловыми агрегатами.","<li>Мощность: 30 кВт</li><li>Трубки: титан</li><li>Корпус: нерж. сталь 316</li><li>Первичный контур: 1""</li><li>Вторичный контур: 1.5""</li>",https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchanger_1_2.jpg,"['https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_combine-2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2_heat_exchange_5_2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/g/2/g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/e/l/elec_g2.jpg', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/h/e/heat-exchanger-horizontal_s-2.png', 'https://aquapolis.ru/media/catalog/product/cache/1/image/1200x/040ec09b1e35df139433887a97daa66f/f/i/file_42_2.jpg']",Elecro,Теплообменник Elecro G2 HE 30 кВт (titanium),"23 381,00",6973,,2,12 месяцев,"<ul class=""bullet""><li>Корпус из нержавеющей стали BS 316L (EN 1.4432)</li><li>Трубки из титана</li><li>Максимальное рабочее давление до 4 Бар</li><li>Температурные ограничения первого контура теплообменника G2: 90 ?</li><li>Полиамидная решетка</li><li>Камера с теплоизоляцией</li><li>Фитинги из латуни и специального полимерного состава</li><li>Высокая площадь теплопередачи</li><li>Возможность подключения аналоговых и цифровых комплектов контроля</li></ul>","<ul class=""bullet""><li>Теплообменник Elecro G2 HE 30T</li><li>Латунные фитинги для первичного контура</li><li>Титановый карман для термостата</li><li>Обратный клапан</li><li>Фитинги соединения, заглушка, прокладка</li><li>Крепежная скоба</li><li>Инструкция</li></ul>",30 кВт

Hello in the final file, all Russian names have some kind of left encoding, tried to specify encoding = 'utf-8', did not help
That you have opened the file saved in UTF-8 encoded CP-1251 .
You can explicitly set the encoding: pd.DataFrame(data).to_csv(r'd:/temp/result.csv', index=False, encoding='cp1251')
I just need to save in utf-8, but so that everything is normal with the Latin alphabet.
Sorry, this Excel tupit, opened through VS Code with indication of the encoding, it became all the rules

Answer 2 · 2018-10-30T13:08:11

I understand that you need csv.DictReader and csv.DictWriter functionality . The first reads data into OrderedDict , while if the number of fields in the header is larger than in the data, it replaces the data by default with None. Well, the second method writes all this beauty.

UPDATE (after additional explanations of the author of the question)

It seems that the task formally boils down to merging the list of keys in the dictionaries. In this case, the solution may be as follows:

 import pprint #нужно исключительно для красивого вывода dict1 = {'NAME': 'AquaDoctor C-60 50 кг. в гранулах', 'IMAGE': '1_2.jpg', 'PRICE': '17\xa0919,00', 'STOCK_STATUS': False, 'SKU': '1551', 'CATEGORY_ID': 28, 'DESCRIPTION': 'blah', 'DESCRIPTION_FEATURE': ''} dict2={'CATEGORY_ID': 11, 'IMAGE': '1_2.jpg', 'IMAGES': ['s-2.png', '42_2.jpg'], 'Комплектация': 'Теплообменник Elecro G2 HE 30T', 'Вес, кг': '2', 'MANUFACTURER': 'Elecro', 'Гарантия': '12 месяцев', 'COUNTRY_OF_ORIGIN': 'Великобритания', 'DESCRIPTION': 'foo', 'NAME': 'Теплообменник Elecro G2 HE 30 кВт (titanium)', 'PRICE': '23\xa0381,00', 'SKU': '6973'} new1 = {**dict.fromkeys(dict1.keys(),''), **dict2} new2 = {**dict.fromkeys(dict2.keys(),''), **dict1} pprint.pprint(new1) pprint.pprint(new2)

At the exit we will have:

 {'CATEGORY_ID': 11, 'COUNTRY_OF_ORIGIN': 'Великобритания', 'DESCRIPTION': 'foo', 'DESCRIPTION_FEATURE': '', 'IMAGE': '1_2.jpg', 'IMAGES': ['s-2.png', '42_2.jpg'], 'MANUFACTURER': 'Elecro', 'NAME': 'Теплообменник Elecro G2 HE 30 кВт (titanium)', 'PRICE': '23\xa0381,00', 'SKU': '6973', 'STOCK_STATUS': '', 'Вес, кг': '2', 'Гарантия': '12 месяцев', 'Комплектация': 'Теплообменник Elecro G2 HE 30T'} {'CATEGORY_ID': 28, 'COUNTRY_OF_ORIGIN': '', 'DESCRIPTION': 'blah', 'DESCRIPTION_FEATURE': '', 'IMAGE': '1_2.jpg', 'IMAGES': '', 'MANUFACTURER': '', 'NAME': 'AquaDoctor C-60 50 кг. в гранулах', 'PRICE': '17\xa0919,00', 'SKU': '1551', 'STOCK_STATUS': False, 'Вес, кг': '', 'Гарантия': '', 'Комплектация': ''}

As you can see, the set of keys is the same for everyone, unique values are stored for each dictionary, and the missing key values are indicated by the empty string ''.

UPDATE # 2 Saving everything that we have done in the csv-file:

 fieldnames = new1.keys() with open('111.csv', 'w',encoding='utf-8-sig') as csvfile: writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() writer.writerow(new1) writer.writerow(new2)

At the exit:

 NAME,IMAGE,PRICE,STOCK_STATUS,SKU,CATEGORY_ID,DESCRIPTION,DESCRIPTION_FEATURE,IMAGES,Комплектация,"Вес, кг",MANUFACTURER,Гарантия,COUNTRY_OF_ORIGIN Теплообменник Elecro G2 HE 30 кВт (titanium),1_2.jpg,"23 381,00",,6973,11,foo,,"['s-2.png', '42_2.jpg']",Теплообменник Elecro G2 HE 30T,2,Elecro,12 месяцев,Великобритания AquaDoctor C-60 50 кг. в гранулах,1_2.jpg,"17 919,00",False,1551,28,blah,,,,,,,

Each time you add a product, check the fields for it and if they are added to Header
@danilshik I suppose that 1) they considered the main csv - its header was saved in OrderedDict 2) they considered the new csv - its header was added to the saved OrderedDict using the update method 3) they saved the data to a file.
The data I have represent the values that I gave from the site.
More precisely, the questions are connected, how to save correctly the header (keys)

Creating a Python csv file

2 answers 2

More articles: