X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Требуется решение для работы с CSV файлами, Собрать из csv файлов в папке строки в новый файл
ilyalink
ilyalink
Topic Starter сообщение 10.5.2013, 12:32; Ответить: ilyalink
Сообщение #1


Приветствую!

Требуется решение для работы с csv файлами.

Есть папка, в ней 40-50 CSV одинакового формата, файлы до 60 000 строк. Общий вес - больше 500 мб

Необходимо выбрать из всех файлах все строки, содержащие определенный текст (например, "строительство") и поместить их в новый файл.

Соответственно, выборок будет много, так что необходимо готовое решение (консольное или с интерфейсом).

Оперативной памяти 2 гигабайта. Просьба это учитывать, необходимо такое решение, которое не будет "виснуть".

Пример файла: http://yadi.sk/d/3GMWXYe54h8UU

Готов заплатить 500 рублей.

Пишите сюда или в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sergej_g
sergej_g
сообщение 10.5.2013, 12:46; Ответить: sergej_g
Сообщение #2


Так вроде Excel это может делать. И еще Notepad++

Сообщение отредактировал sergej_g - 10.5.2013, 12:53


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 8:52; Ответить: ilyalink
Сообщение #3


К сожалению, поиск информации на форумах по Excel'ю результатов не дал. Нужен скрипт для него в любом случае и инструкция по запуску, поэтому предложение о работе до сих пор актуально.

Решение для notepad++ так же подошло бы.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 10:15; Ответить: webpavilion
Сообщение #4


в консоли на почти любом линуксе:
find . -name "*.csv" -print0 | xargs -0 recode windows1251...utf8
cat *.csv | grep "рекламное агентство" > tmp.csv


выслать wmr кошелек?

первая строчка перекодирует все файлы в utf8 её нужно выполнять один раз.
вторая собственно поиск по файлам и запись в результирующий файл.

из grep можно стоить цепочки или использовать регулярные выражения через egrep

Сообщение отредактировал webpavilion - 11.5.2013, 10:18


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Pavlik
Pavlik
сообщение 11.5.2013, 10:25; Ответить: Pavlik
Сообщение #5


в POSIX окружении одной строкой решается:
cat *.csv | grep 'строительство' > новый_файл
Cygwin под Windows даст вам это.


--------------------
кидала
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 12:50; Ответить: ilyalink
Сообщение #6


webpavilion, Pavlik,
Спасибо, что откликнулись!

Решение подошло, однако файлы в винде файлы пришлось переводить в другую кодировку с помощью UTFCast

Думаю, справедливо было бы разделить 500 рублей пополам между webpavilion и Pavlik, так как первый подсказал решение, а второй решил вопрос с его реализацией под Windows.

Скиньте, пожалуйста, WMR кошельки в личку - переведу деньги.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 13:22; Ответить: webpavilion
Сообщение #7


ilyalink, я на вознаграждение не претендую.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Имитация работы залог успеха?
17 metvekot 1353 Вчера, 17:29
автор: Boymaster
Открытая тема (нет новых ответов) ✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐
Сервис для получения SMS на реальные номера USA
13 Chekon 4066 Вчера, 11:48
автор: Chekon
Открытая тема (нет новых ответов) Rebex.io – Ваша инновационная платформа для обмена криптовалюты!
1 Rebex 673 17.4.2024, 11:50
автор: Rebex
Открытая тема (нет новых ответов) Требуется помощь по сайту на "ВордПресс"
Закрылся доступ в панель администратора
15 Tia2 2345 17.4.2024, 0:54
автор: diviner99
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
11 Aloof 2811 16.4.2024, 12:48
автор: diviner99


 



RSS Текстовая версия Сейчас: 19.4.2024, 8:06
Дизайн