File-name completion of non-ASCII characters on OS X (bug#22169)

The coding system `utf-8-nfd', locally defined in ns-win.el,
didn't provide a :pre-write-conversion method, causing file name
completion of non-ASCII characters to fail.  Solved by using the
`utf-8-hfs' coding system provided by `ucs-normalize'.

* lisp/loadup.el: Load international/ucs-normalize (when building
for ns).

* lisp/term/ns-win.el (utf-8-nfd): Made `utf-8-nfd' as alias for
`utf-8-hfs' and removed the old implementation.  Set `utf-8-hfs'
as the file name coding system.

* src/nsfns.c (ns-convert-utf8-nfd-to-nfc): Removed.

Fix bug #18588 by making bug-reference-bug-regexp more lenient

* lisp/progmodes/bug-reference.el (bug-reference-bug-regexp): Accept
"bug NNNN".  (Bug #18588)

add some cl-* aliases to lisp-mode imenu

* (lisp-imenu-generic-expression): Add cl-define-compiler-macro,
cl-defgeneric, and cl-defmethod.

Make a variable buffer-local

* lisp/generic-x.el (generic-rul-mode-setup-function): Make
font-lock-syntax-table buffer-local.  (Bug #21627)

Fix decoding of text in URLs retrieved by EWW

* lisp/net/eww.el (eww-render): Pass 'charset' to
'eww-display-raw'.  Use the value of 'last-coding-system-used', if
non-nil, to set 'buffer-file-coding-system' of the buffer where we
show the URL.
(eww-display-html, eww-display-raw): Decode the text correctly,
using the charset found in the headers, and defaulting to UTF-8.
If the user told us to use a specific encoding, override the
charset from the headers.  (Bug#22222)

Fix a coding error in c-forward-<>-arglist-recur.  Fixes bug#22156

* lisp/progmodes/cc-engine.el (c-forward-<>-arglist-recur): Remove unused
variable `tmp'.
After a failed search for a matching ">", restore point before continuing.

Instrument Tramp tests

* test/automated/tramp-tests.el (tramp-test29-vc-registered)
(tramp--test-utf8): Instrument tests.

Fix `display-buffer' call in `display-message-or-buffer' (Bug#22221)

* lisp/simple.el (display-message-or-buffer): Call
`display-buffer' with ACTION instead of NOT-THIS-WINDOW
(Bug#22221).

* lisp/saveplace.el (toggle-save-place, save-place-to-alist)

(save-places-to-alist, save-place-dired-hook):
Check for dired-subdir-alist.  (Bug#19851)

; Clarify comment added in previous commit.

Add FIXME comment re stack overflow and modules

Revert some recent emacs-module commentary

Most of the recently-added commentary was incorrect, due to the
possibility of stack overflow.

Spelling fix: prefer "cooperate" to "co-operate"

Port undo fixes to -fno-common

Port recent fix for Bug#21968 to platforms like 'gcc -fno-common'.
* src/keyboard.c, src/keyboard.h (point_before_last_command_or_undo)
(buffer_before_last_command_or_undo):
Declare in keyboard.h, and define in keyboard.c,
instead of assuming the traditional Unix relaxed ref-def linkage.

Improve commentary for emacs-module.c

* src/lisp.h: Document emacs-module.c assumptions about EQ and NILP.
* src/emacs-module.c (module_non_local_exit_get): Document that we
cannot use the current implementation.
(module_is_not_nil, module_eq): Document assumptions about EQ and
NILP.

Suppress test on Mac OS X

* test/automated/tramp-tests.el (tramp--test-darwin-p): New defun.
(tramp--test-utf8): Use it.

Merge branch 'scratch/follow' into emacs-25

This allows Isearch, etc., to work well when Follow Mode is active.

* tramp-sh.el (tramp-get-ls-command-with-w-option): Improve check.

Fix last commit

* doc/emacs/rmail.texi (Rmail Deletion): Document new behavior of 'u'
with numeric argument.

Document new features of Rmail

* doc/emacs/rmail.texi (Rmail Summary Edit, Rmail Deletion):
Document new behavior of 'd' and 'C-d' with numeric argument.
(Rmail Display): Document the rendering of HTML MIME parts.

; * etc/NEWS: More Info-related copyedits

; * etc/NEWS: Rearrange Info-related entries

Improve documentation of new cl-lib functions

* doc/misc/cl.texi (Predicates on Numbers, Numerical Functions):
Fix wording.

; * etc/NEWS: Copyedits and rearrangements.  Add entry about Info-quoted.

Document the new feature of 'minibuffer-with-setup-hook'

* lisp/files.el (minibuffer-with-setup-hook): Clarify how FUN is
added to `minibuffer-setup-hook'.

Document new features of Font Lock

* doc/lispref/modes.texi (Other Font Lock Variables): Document
'font-lock-flush-function' and 'font-lock-ensure-function'.
(Font Lock Basics): Document the basic fontification functions
referenced in "Other Font Lock Variables".

* lisp/font-lock.el (font-lock-flush, font-lock-ensure): Doc fix.

Document new features of Rectangle mode

* doc/emacs/killing.texi (Rectangles): Document "C-x C-x" in
rectangle-mark-mode.

Manual followup to last change

* doc/lispref/display.texi (Displaying Messages): Sync with the
doc string.  (Bug#22210)

Clarify doc string of 'display-message-or-buffer'

* lisp/simple.el (display-message-or-buffer): Doc fix.  Suggested
by Sebastian Wiesner <swiesner@lunaryorn.com>.  (Bug#22210)

* doc/emacs/emacs.texi (Top): Update top-level menus.

* doc/lispref/elisp.texi (Top): Update top-level menus.

Document how to avoid file-local variables that aren't

* doc/emacs/custom.texi (Specifying File Variables): Describe how
to prevent Emacs from interpreting unrelated text as file-local
variables.  (Bug#22166)

Fix a typo in eterm-color's termcap entry

* lisp/term.el (term-termcap-format): Fix a typo in the "ue="
entry.  (Bug#22184)

Copyright-paperwork-exempt: yes

Allow 'browse-url-emacs' visit non-existent URLs

* lisp/url/url-handlers.el (url-insert-file-contents): Don't
signal an error if VISIT is non-nil, to more faithfully emulate
the behavior of 'insert-file-contents'.  (Bug#22160)

Remove SunOS 4.x cruft

Support for SunOS 4.x was removed in Emacs 23 but some cruft was left behind.
* lib-src/pop.c [sun]: Remove no-longer-needed include.
* lwlib/xlwmenu.c (SUNSO41): Remove.

Merge from gnulib

This mostly commentary fixes.
* doc/misc/texinfo.tex, lib/intprops.h: Copy from gnulib.
* lib/gnulib.mk: Regenerate with new gnulib-tool.

Minor fixes in Tramp

* lisp/net/tramp-sh.el (tramp-do-file-attributes-with-ls):
Reorder ls arguments.

* lisp/net/tramp.el (tramp-dissect-file-name): Fix docstring.

Make tramp a built-in package

* lisp/finder.el (finder-compile-keywords): Update
`package--builtins' also when Version: keyword is available.

* lisp/net/trampver.el: Add Version: keyword.
(tramp-version): Change it to "2.2.13.25.1", in order to be
compatible with `version-to-list'.

* etc/tutorials/TUTORIAL.it: Update and fix typos.

Rename `recenter-group' to `recenter-window-group'

* doc/lispref/windows.texi (Textual Scrolling)
* lisp/window.el (top level, recenter-group)
* lisp/follow.el (follow-mode)
* lisp/isearch.el (isearch-back-into-window): Rename `recenter-group' to
`recenter-window-group' and `recenter-group-function' to
`recenter-window-group-function'.

Fix vertical-motion in tabulated-list mode

* src/indent.c (Fvertical_motion): When moving from line beginning
to point under line truncation, assume overshoot by one line only
if point actually lies beyond the window's right margin.
(Bug#22194)

Don't have help functions call x-display-pixel-width/-height on ttys

* lisp/help.el (temp-buffer-max-height, temp-buffer-max-width):
Don't call x-display-pixel-width/-height on ttys.

Use 'hg id' in vc-hg-previous-revision

* lisp/vc/vc-hg.el (vc-hg-previous-revision):
Use 'hg id' to retrieve it (bug#22032).

* lisp/follow.el (follow-sit-for): Remove (it's redundant).

Fix a typo in the Emacs manual

* doc/emacs/trouble.texi (Sending Patches): Fix a typo.  Reported
by Lele Gaifax <lele@metapensiero.it>.  (Bug#22193)

Fix parsing netrc entries with ports

* lisp/gnus/auth-source.el (auth-source-ensure-strings): Don't
make a list out of 't'.  (Bug#22188)

* test/automated/auth-source-tests.el
(auth-source-test-netrc-parse-entry): New test.

Fix typo in Doug Lea malloc configure log

* configure.ac (emacs_cv_var_doug_lea_malloc):
Fix typo that confused the log output of 'configure'.

* etc/NEWS: Mention the new pcase patterns `seq' and `map'.

; * etc/NEWS: Fix last commit.

* etc/NEWS: Move entry on pcase to correct section

(Accidentally omitted from previous commit)

; * doc/emacs/programs.texi (Lisp Doc): Clarofy last change.

; * doc/emacs/programs.texi (Lisp Doc): Clarify last change.

Add documentation for changes to Show Paren mode.

* lisp/paren.el (show-paren-highlight-openparen): Enhance doc string.

* doc/emacs/programs.texi (Matching): Add descriptions of some pertinent user
options, including the new show-paren-when-point-inside-paren and
show-paren-when-point-in-periphery.

* etc/NEWS (.. Specialized Modes ...): Add an entry for Show Paren mode.
Move an entry on pcase to the Lisp Changes section.

; * etc/NEWS: Mark message-mode entry as not requiring documentation.

Document Eldoc changes

* doc/emacs/programs.texi (Lisp Doc): Document Global Eldoc mode.

Fix invocation of Python and Guile interpreters from gdb-mi

* lisp/progmodes/gdb-mi.el (gdb-control-commands-regexp): Add
commands for interactive Python and Guile interpreters.
(gdb-send): Recognize various ways of exiting from Python and
Guile interpreters and returning to GDB.  For details, see
http://lists.gnu.org/archive/html/emacs-devel/2015-12/msg00693.html
and http://stackoverflow.com/questions/31514741.

Remove attempt to use C11 threads

C11 threads are not needed for Emacs now, and their use is causing
hassles on FreeBSD 10.x.  Problem reported by Ashish SHUKLA in:
http://lists.gnu.org/archive/html/emacs-devel/2015-12/msg00648.html
* configure.ac: Do not check for C11 threads. Remove unnecessary
fiddling with CPPFLAGS when configuring pthreads.
* src/emacs-module.c (main_thread, check_main_thread)
(module_init): Do not worry about C11 threads.

Set utf8 encoding with stty in Tramp

* lisp/net/tramp-sh.el (tramp-open-connection-setup-interactive-shell):
Move up uname check.  Handle Mac OS X eol encoding.  Set utf8
encoding with stty.

Tidy up documentation associated with window groups.

* doc/lispref/windows.texi (Basic Windows): Add an @anchor for "Window
Groups".  Correct example function to `window-group-start'.
(Window Start and End, Textual scrolling): Point to the new anchor.  State
that (most of) the args in window group functions have the same meaning as for
the corresponding window primitives.

* doc/lispref/positions.texi (Screen Lines).  Same as above.

Complete last commit

* lisp/net/tramp-sh.el (tramp-open-connection-setup-interactive-shell):
Move uname check up.  Handle Mac OS X eol encoding.

Handle Mac OS X eol encoding in Tramp

* lisp/net/tramp-sh.el (tramp-open-connection-setup-interactive-shell):
Handle Mac OS X eol encoding.

Fix variable name typo in compute_tip_xy

* src/w32fns.c (compute_tip_xy):
* src/xfns.c (compute_tip_xy): Modify *root_x instead of *root_y
when `right' is integer.

* lisp/ibuffer.el: Add ability to (un-)mark or delete buffers in the region.

Revert "Fix rx matcher overflow without limiting"

This reverts commit fe27e037663d36be3e5741c2ce86ab4ee8017db1.

Ispell: Bind isearch-regexp-function to nil around call to isearch..-new-loop

* lisp/textmodes/ispell.el (ispell-highlight-spelling-error-overlay): bind
isearch-regexp-function to nil around call to isearch-lazy-highligh-new-loop.

Fix rx matcher overflow without limiting

* lisp/textmodes/reftex-vars.el (reftex-label-regexps): Improve last
change to the regexp without imposing a limit on the length of the
options.

Enhance ispell-skip-region-alist by generating part of it at runtime.

* lisp/textmodes/ispell.el (ispell--\\w-filter, ispell--make-\\w-expression)
(ispell--make-filename-or-URL-re): New functions which generate a regexp.
(ispell-skip-region-alist): Remove the bit that matches a filename/URL, etc.
(ispell-begin-skip-region-regexp, ispell-skip-region-list, ispell-message):
Include the result of ispell--make-filename-or-URL-re in regexps.

* build-aux/gitlog-to-emacslog: Ignore more pointless merge commits.

Replace GROUP argument in six window primitives by new functions.

* doc/lispref/windows.texi (Window Start and End, Textual Scrolling)
* doc/lispref/positions.texi (Screen Lines): Remove optional GROUP argument
from description of six window functions.  Add in description of new functions
window-group-start, window-group-end, set-window-group-start,
pos-visible-in-window-group-p, recenter-group and move-to-window-group-line,
together with the six variables indirecting to the pertinent group
functions.

* src/window.c
* src/keyboard.c: Revert the commit from 2015-11-11 12:02:48, in so far as it
applies to these two files, which added the GROUP argument to six window
primitives.

* lisp/follow.el (follow-mode): Use updated variable names for the indirected
functions.

* lisp/isearch.el (isearch-update, isearch-done, isearch-string-out-of-window)
(isearch-back-into-window, isearch-lazy-highlight-new-loop)
(isearch-lazy-highlight-search, isearch-lazy-highlight-update): Replace calls
to window primitives (e.g. window-start) with a GROUP argument by calls to
new functions (e.g. window-group-start).

* lisp/ispell.el (ispell-command-loop): Replace call to
pos-visible-in-window-p with pos-visible-in-window-group-p.

* lisp/window.el (window-group-start, window-group-end)
(set-window-group-start, recenter-group, pos-visible-in-window-group-p)
(selected-window-group, move-to-window-group-line): New functions.
(window-group-start-function, window-group-end-function)
(set-window-group-start-function, recenter-group-function)
(pos-visible-in-window-group-p-function, selected-window-group-function)
(move-to-window-group-line-function): New variables.

* etc/tutorials/TUTORIAL.pt_BR: Fix a typo.  (Bug#22165)

Copyright-paperwork-exempt: yes

; * src/fileio.c (Finsert_file_contents): Avoid compiler warning.

Merge branch 'emacs-25' of git.savannah.gnu.org:/srv/git/emacs into emacs-25

Improve regex to not trigger stack overflow

* lisp/textmodes/reftex-vars.el (reftex-label-regexps): Improve regex in
order not to trigger a stack overflow in regex matcher with unbalanced
brackets (bug#22146).

Fix visiting files with raw-text

* src/fileio.c (Finsert_file_contents): Fix setting buffer unibyte
when some stuff was actually read.  (Bug#22162)

Fix regex matching keyval labels

* lisp/textmodes/reftex-vars.el (reftex-label-regexps): Fix regexp
matching keyval labels.

* lisp/ido.el (ido-file-name-all-completions-1): Do not raise an error

... in case of Tramp.  (Bug#20821)

Fix performance regression with gcc -O0

This fixes the smaller performance hit that I noted in:
https://lists.gnu.org/archive/html/emacs-devel/2015-12/msg00357.html
* src/alloc.c (macro_XPNTR_OR_SYMBOL_OFFSET, macro_XPNTR):
* src/puresize.h (puresize_h_PURE_P)
(puresize_h_CHECK_IMPURE):
New macros, with the old contents of the functions.
* src/alloc.c (XPNTR_OR_SYMBOL_OFFSET, XPNTR):
* src/puresize.h (PURE_P, CHECK_IMPURE):
Use the new macros.  Also macros, if DEFINE_KEY_OPS_AS_MACROS.
* src/conf_post.h (ATTRIBUTE_UNUSED):
* src/lisp.h (DEFINE_KEY_OPS_AS_MACROS): New macros.

* lisp/emacs-lisp/package.el (package-unpack): Security check

Check that we received the package we were offered.

* lisp/emacs-lisp/package.el (package--compile): Don't activate

`package-unpack' takes care of all activations now (other than
`package-initialize).  `package--compile' now only compiles.

Document the new bindings of <UP> and <DOWN> in the minibuffer

* doc/emacs/mini.texi (Minibuffer History): Describe the new
bindings of <UP> and <DOWN> in the minibuffer.

Document new features of Ido

* doc/misc/ido.texi (Misc): Document 'C-S-b'.

Fix frame height calculations with added menu bar on Windows (Bug#22105)

* doc/lispref/frames.texi (Parameter Access): Mention pitfalls
when simultaneously specifying multiple parameters for
`modify-frame-parameters' that all may change the frame's size.
* src/w32fns.c (x_set_menu_bar_lines): Don't set
windows_or_buffers_changed here.
(my_create_tip_window, Fx_show_tip): Call AdjustWindowRect
with third argument false.
* src/w32menu.c (set_frame_menubar): Set
windows_or_buffers_changed here.
* src/w32term.c (x_set_window_size): Determine third argument of
AdjustWindowRect from whether the frame has a menu bar and not
from whether it wants one.

Document the change in interactive shell mode

* doc/emacs/misc.texi (Interactive Shell): Document that the
'*shell*' buffer by default displays in a new window.

Document new features of package.el

* doc/emacs/package.texi (Package Menu): Document the 'external'
status and the new menu commands.
(Package Installation): Document archive priorities.

* lisp/emacs-lisp/package.el (package-archive-priorities): Doc fix.
(package-menu-hide-low-priority): Doc fix.

Update and document new features of xterm support

* doc/emacs/frames.texi (Text-Only Mouse): Document that
track-mouse is supported by newer xterm versions.

; * etc/NEWS: Update and fix the entry for ERC.

; * etc/NEWS: Update the entry for 'save-place-mode'.

; * etc/NEWS: Update and fix entry for 'xterm-screen-extra-capabilities'.

Document new features of Prettify Mode

* doc/emacs/programs.texi (Misc for Programs): Document
'prettify-symbols-compose-predicate' and
'prettify-symbols-unprettify-at-point'.

* lisp/progmodes/prog-mode.el (prettify-symbols-alist)
(prettify-symbols-default-compose-p)
(prettify-symbols-compose-predicate)
(prettify-symbols--compose-symbol): Doc fixes.

Document multi-mode indentation facilities

* doc/lispref/text.texi (Mode-Specific Indent): Document
'prog-indentation-context', 'prog-first-column', and 'prog-widen'.

* lisp/progmodes/prog-mode.el (prog-indentation-context)
(prog-widen): Doc fixes.

Document 'vc-refresh-state'

* doc/emacs/maintaining.texi (Version Control): Document
'vc-refresh-state'.

* lisp/vc/vc-hooks.el (vc-refresh-state): Doc fix.

Fix echo for "C-u"

* src/keyboard.c (command_loop_1): Undo last change.  It caused
duplicate echo of C-u.  (Bug#22107)

Avoid errors when creating files under SVN in new directory

* lisp/vc/vc-svn.el (vc-svn-registered): Use
file-accessible-directory-p, to avoid cd'ing to a non-existing
directory, which signals an error on some systems.  (Bug#21984)
(vc-svn-checkin): Call log-edit-extract-headers with 2 arguments.
Use declare-function to avoid byte-compiler warnings.

Improve Lua support in etags

* lib-src/etags.c (Lua_functions): Skip spaces before looking for
"function".

* etc/NEWS: Mention improved Lua support by 'etags'.

* test/etags/lua-src/test.lua (test): Add tests for indented
function definitions.
* test/etags/ETAGS.good_1:
* test/etags/ETAGS.good_2:
* test/etags/ETAGS.good_3:
* test/etags/ETAGS.good_4:
* test/etags/ETAGS.good_5:
* test/etags/ETAGS.good_6:
* test/etags/CTAGS.good: Adapt to the modified Lua tests.

Fix 'this-command-keys' wrt prefix argument

* src/keyboard.c (command_loop_1): Restore the feature whereby C-u
was part of this-command-keys, but not of this-single-command-keys.
(Bug#22107)

* lisp/simple.el (internal-echo-keystrokes-prefix): Add
commentary about the function's return value.

* lisp/files.el (load-library): Doc fix.  (Bug#22140)

Improve and document Ruby support in 'etags'

* lib-src/etags.c (Ruby_suffixes): Add ".ruby".
(Ruby_functions): Support "module" and overloaded operators.
(Ruby_help): Mention "module".

* test/etags/ruby-src/test.rb:
* test/etags/ruby-src/test1.ruby: New files.
* test/etags/Makefile (RBSRC): New tests.
(SRCS): Add ${RBSRC}.
* test/etags/ETAGS.good_1:
* test/etags/ETAGS.good_2:
* test/etags/ETAGS.good_3:
* test/etags/ETAGS.good_4:
* test/etags/ETAGS.good_5:
* test/etags/ETAGS.good_6:
* test/etags/CTAGS.good: Adapt to the new Ruby tests.

* doc/man/etags.1: Mention Ruby support.
* etc/NEWS: Mention Ruby support.

Initial support for Ruby in 'etags'

* lib-src/etags.c <Ruby_suffixes>: New variable.
(lang_names): Add an entry for Ruby.
(Ruby_functions): New function.  (Bug#22116)

Clarify documentation of 'modify-frame-parameters'

* doc/lispref/frames.texi (Parameter Access): Clarify what "ignored
PARMs" mean for 'modify-frame-parameters'.

* src/frame.c (Fmodify_frame_parameters): Clarify what "ignored
PARMs" mean for this function.  (Bug#22104)

Fix setting buffer unibyte when reading from a device

* src/fileio.c (Finsert_file_contents): Call Fset_buffer_multibyte
to make a (possibly non-empty) buffer unibyte.  (Bug#22096)